HiFi Forum  

Zurück   HiFi Forum > SACHTHEMEN > Verblindete Vergleiche

Verblindete Vergleiche Wenn es "um die Wahrheit" geht, führt kein Weg daran vorbei

Antwort
 
Themen-Optionen Ansicht
Alt 05.02.2013, 09:22   #346
Babak
Ich schau nur
 
Benutzerbild von Babak
 
Registriert seit: 30.07.2006
Ort: Wien
Beiträge: 10.565
Babak ist zur Zeit noch ein unbeschriebenes Blatt
Standard

Ja, wozu diese "Wissenschaftlichkeit"?
Gute Frage.

Die stellt sich bei Hörtests überhaupt.

Warum macht jemand überhaupt verblindete Tests?
Wozu braucht es einen Pegelabgleich?
Wozu braucht es eine Umschaltbox?
Wozu überhaupt direkt zwischen A und B wechseln?
Wozu messen, ob die Verstärker Unterschiede zeigen?

All das ist pure "Wissenschaftlichkeit".

Stellt man den Sinn von Wissenschaftlichkeit in Frage, braucht man nichts von dem da oben.

Dann sind unverblindete Langzeit-Tests genau so gut.


Wieso werden unverblindete Langzeit-Tests trotzdem kritisiert?


Langsam wird das absurd, meine Herren.


LG
Babak
__________________
“Leider sind es öfter die Meinungen über die Dinge als die Dinge selbst, wodurch die Menschen getrennt werden.”
-Johann Wolfgang von Goethe (1749 - 1832)
Babak ist gerade online   Mit Zitat antworten
Alt 05.02.2013, 09:37   #347
David
Admin und Forumsbetreiber
 
Benutzerbild von David
 
Registriert seit: 15.03.2006
Ort: Wien/Umgebung
Beiträge: 36.251
David hat die Renommee-Anzeige deaktiviert
Standard

Zitat:
Zitat von Phototipps.com Beitrag anzeigen
@ Babak:

Du bist doch einer der ersten, der dem David unterstellt, dass seine BTs keinen wissenschaftlichen Ansprüchen stand halten würden.

Und genauso bist Du einer der ersten, die eine Wissenschaftlichkeit fordern.

Warum? Was genau versprichst Du Dir davon?

Herby
Das Gleiche (von der Aussage her) wollte ich ihn auch gerade fragen.

Ist ja ein ganz neuer "Ton" den er da anschlägt.
__________________
Gruß
David


Erst wenn man begriffen hat, dass Raumakustik, Lautsprecheraufstellung und Hörplatzwahl wichtiger sind als die Anlage selbst, hat man die Audiowiedergabe verstanden.
Auch Personen, die noch wenig Wissen auf diesem Gebiet haben, oder solche, die Rat und Hinweise von Erfahrenen suchen, sind hier richtig.
Meine Auffassung von seriösen Vergleichstests: Klick mich - Die bisherigen Testergebnisse: Klick mich - Private Anlage: Klick mich
Grundsätzlich: Behauptungen die mir bedenklich erscheinen, glaube ich erst, wenn sie mir in Form eines verblindeten Vergleichs bewiesen werden konnten. Das gilt für das was ich selbst zu hören glaube ebenso.
Eine Bitte an Alle: nicht ganze (noch dazu große) Beiträge zitieren und darunter einen kurzen Kommentar schreiben! Besser (beispielsweise): "Volle Zustimmung zu Beitrag 37".
David ist offline   Mit Zitat antworten
Alt 05.02.2013, 10:08   #348
Babak
Ich schau nur
 
Benutzerbild von Babak
 
Registriert seit: 30.07.2006
Ort: Wien
Beiträge: 10.565
Babak ist zur Zeit noch ein unbeschriebenes Blatt
Standard

Hallo Herby

Zitat:
Zitat von Phototipps.com Beitrag anzeigen
@ Babak:

Du bist doch einer der ersten, der dem David unterstellt, dass seine BTs keinen wissenschaftlichen Ansprüchen stand halten würden.

Und genauso bist Du einer der ersten, die eine Wissenschaftlichkeit fordern.

Warum? Was genau versprichst Du Dir davon?
Offensichtlich liest Du meine Posts nicht.


Es beginnt damit, dass Leute öffentlich die unverblindete Langzeit-Tests kritisieren.


Diese Leute führen dann wissenschaftliche Ansätze ein:

Bei David sind das z.B.
  • direktes Umschalten zwischen A und B
  • Verwenden einer Umschaltbox statt Umstecken
  • Pegelausgleich
  • Verblindung (man sieht nicht, welche Komponente gerade spielt)
  • Messtechnische Begleitung: wie messen sich die komponenten?
Was versprechen sich diese Leute davon, diese wissenschafltichen Ansätze bei Hörtests anzuwenden?


LG
Babak
__________________
“Leider sind es öfter die Meinungen über die Dinge als die Dinge selbst, wodurch die Menschen getrennt werden.”
-Johann Wolfgang von Goethe (1749 - 1832)
Babak ist gerade online   Mit Zitat antworten
Alt 05.02.2013, 10:23   #349
David
Admin und Forumsbetreiber
 
Benutzerbild von David
 
Registriert seit: 15.03.2006
Ort: Wien/Umgebung
Beiträge: 36.251
David hat die Renommee-Anzeige deaktiviert
Standard

Babak, die von dir aufgezählten Dinge sind unumgänglich, wenn man neutral vergleichen will.

Und genau hier kann (nein sollte!) es auch schon wieder aufhören!

Du bist es aber dann, der anfängt, die winzigen Möglichkeiten die in der Praxis (falls überhaupt vorhanden) keinerlei Relevanz haben, zu einem "Elefanten" aufzublasen.

Was dann passiert, das hatten wir schon etliche Male, bis hin zum Verlust von Usern.

Und da frage ich im Besondern dich, ob das der Sinn der Sache sein kann.

Nicht ohne Grund habe ich gesagt, dass die "Wissenschaftlichkeit" hier kontraproduktiv ist.

Von mir aus kann sie auch sein, aber dann bitte in eigenen Threads. Da kann man dann über Wahrscheinlichkeiten diskutieren, die sich in mikroskopischen Größenordnungen abspielen. Ansonsten ist so etwas nur störend.
__________________
Gruß
David


Erst wenn man begriffen hat, dass Raumakustik, Lautsprecheraufstellung und Hörplatzwahl wichtiger sind als die Anlage selbst, hat man die Audiowiedergabe verstanden.
Auch Personen, die noch wenig Wissen auf diesem Gebiet haben, oder solche, die Rat und Hinweise von Erfahrenen suchen, sind hier richtig.
Meine Auffassung von seriösen Vergleichstests: Klick mich - Die bisherigen Testergebnisse: Klick mich - Private Anlage: Klick mich
Grundsätzlich: Behauptungen die mir bedenklich erscheinen, glaube ich erst, wenn sie mir in Form eines verblindeten Vergleichs bewiesen werden konnten. Das gilt für das was ich selbst zu hören glaube ebenso.
Eine Bitte an Alle: nicht ganze (noch dazu große) Beiträge zitieren und darunter einen kurzen Kommentar schreiben! Besser (beispielsweise): "Volle Zustimmung zu Beitrag 37".
David ist offline   Mit Zitat antworten
Alt 05.02.2013, 23:55   #350
Babak
Ich schau nur
 
Benutzerbild von Babak
 
Registriert seit: 30.07.2006
Ort: Wien
Beiträge: 10.565
Babak ist zur Zeit noch ein unbeschriebenes Blatt
Standard Teil 1

Hallo

Ich finde es sehr schmeichelhaft, dass Ihr euch so mit meiner Person beschäftigt.
Die Tipps, wie ich was tun sollte, finde ich auch sehr rührig.
Daher mal schönen Dank.


Normalerweise ist es ein Zeichen, dass sich Leute nicht mit einem Thema/Inhalt beschäftigen wollen oder können (oder nicht wollen, da sie es nicht können), wenn sie sich auf die Person einschießen, die das Thema aufgebracht hat, und über sie diskutieren.



Nachdem das hier im Forum sicher nicht der Fall sein wird und wir uns im Unterforum "Sachthemen" befinden, mache ich mal mit den Sachthemen weiter.


Also sorry für das Off-Topic, das jetzt folgt.




------------------------------------------------


Nun, was alles spielt in die Wahrnehmung hinein, was bei Hörtests (verbindet und unverblindet), Magischen Tricks und bei Special Effects gleichermaßen zur Geltung kommt?

Das Gänze steht mehr oder weniger auf folgenden 3 Beinen:

1. Erfahrungen
2. Paradigmen / Erwartungen / Annahmen
3. Kontext.

Diese 3 beeinflussen einander.


Ich werde das in 2 teile teilen:
Der Erste beschreibt kurz diese 3 Prinzipien, der zweite bringt Beispiele und wie sie einen Hörtest (verblindet oder unverblindet) beeinflussen können.



------------------------------------------------



0. Einleitend:
Was ist Wahrnehmung, welchen Zweck hat sie?
Durch die Wahrnehmung erarbeitet das Hirn aus Sinnesinformationen ein Bild der Welt rundherum, damit es Handlungsoptionen finden kann, wie in welcher Situation am besten zu handeln ist.

Ein wichtiger Bestandteil der Wahrnehmung ist, aus der Informationsflut der Sinne eine Bedeutung herauszulesen, die eine Aussage über die Umgebung und die Situation ergeben.
Also müssen diese Informationen irgendwie interpretiert werden.


------------------------------------------------


1. Erfahrungen.

Unser Hirn ist auf Erfahrungen angewiesen, um sich ein konsistentes Bild der Umwelt zu konstruieren.
Erkenntnistheoretiker sagen auch "Erkennen ist immer ein Wiedererkennen".

Dabei geht es nicht nur um das laufende und ständige (Wieder-rkennen von Farben, Formen, Gerüche, Geschmäcker, taktile Reize (und das Bilden einer konsistenten "Gestalt"), sondern auch von Mustern, Abläufen, Ursache-Wirkung, Verhaltensmustern etc. in Echtheit.
Unser Hirn ist eine Musterkennungs-Maschine.

Es macht aber auch Fehler dabei und produziert dabei oft falsch-positive Ergebnisse. So entstehen z.B. Toasts mit dem Antlitz Jesu drauf oder satanische Nachrichten, wenn Aufnahmen rückwärts gespielt werden.

Das gibt es auch auf sozialer Ebene (Lebewesen mit komplexeren sozialen Lebensformen entwickeln komplexere Hirne)
Wenn man jemanden mit bestimmten Begriffen tituliert, reagiert er unfreudnlich.


------------------------------------------------


2. Paradigmen / Erwartungen / Annahmen

Wenn sich beobachtete Vorgänge und Muster wiederholen, baut das Hirn Paradigmen auf.
Die sind eine Art Weltsicht, in der es fixe Zusammenhänge und Kausalitäten gibt.

Das hilft dem Hirn, Rechenkapazität zu sparen (das Hirn ist "faul"), indem nicht jede Beobachtung neu interpretiert werden muss, um eine Bedeutung zu finden.
Statt dessen wird abgekürzt: Bekannte Situation, wir wissen, wie das weiter gehen wird.
Es wurde gezeigt, dass das Hirn viele "unpassenden" Sinneseindrücke unterdrückt, damit sich ein konsistentes Bild (eine konsistente Gestalt) ergibt, die dem Paradigma entspricht.
Das Hirn ist nicht nur faul, sondern es mag auch keine Informations-Konflikte.




So gibt es Erfahrungen, die wir alle kennen, aus denen wir Erwartungen ziehen: Werfe ich einen Ball nach oben, kommt er wieder runter. Wasser fließt nach unten. Wenn einem ein Stein auf den kopf fällt, tut es weh, etc.

Bei Annahmen verhalten sich ähnliche Dinge in ähnlichen Situationen ähnlich: Wenn ich einen Stein nach oben werfe, kommt er auch wieder runter. Öl fließt auch nach unten. Wenn einem einAst auf den Kopf fällt, tut es auch weh.

So ergänzt das Hirn unterbrochene Linien und Formen und ergänzt Fehlendes (damit erkennt man auch etwas, das z.B teilweise durch einen Baum verdeckt wird).




Auch hier passieren Fehler. Nicht zusammenhängende Dinge können als zusammenhängend oder zusammengehörend gesehen werden.
Selbst Lord Kelvin (ein großer Wissenschafter seiner Zeit) hat angezweifelt, dass Gegenstände, die schwerer sind als Luft, fliegen können.

Und unser Hirn ist ganz schlecht in der Abschätzung von Wahrscheinlichkeiten und beim Auseinanderhalten von Koinzidenz, Korrelation und Kausalität (es entdeckt oft Korrelationen, wo es nur zufällige Koinzidenzen gibt, und es sieht Kausalitäten, wo es nur eine Korrelation gibt).



Sozial:
Der ungute Begriff bedeutet für den anderen eine Beleidigung, und deswegen wird er auch das nächste Mal offensiv reagieren, wenn man ihm das sagt.
Und auch andere würden offensiv reagieren, wenn man ihnen das sagt.



------------------------------------------------



3. Kontext

Unter Hirn hat gelernt, dass sich gewisse Dinge in unterschiedlichen Kontexten unterschiedlich verhalten.
Ein im hellen Licht oranger Fleck schaut objektiv gemessen im Schatten bräunlich aus. Dennoch wird der Fleck als orange wahrgenommen. Genau so gleicht das Hirn Farbunterschiede durch unterschiedliches Tageslicht weitgehend aus. Beides sind Beispiele für Farbkonstanz.
Ähnlich gibt es Helligkeits-Konstanz, Tonhöhen-Konstanz etc.

Dadurch soll gewährleistet sein, dass das Hirn ein und dieselbe Gestalt erkennt, egal in welchem Kontext es sich befindet.

Wie etwas in welchem Kontext ist, baut natürlich auf den Erfahrungen auf und bedienen sich den Paradigmen, Erwartungen und Annahmen.

Eindrücke anderer Sinne können den Kontext ausmachen: Gerüche, Klänge, Farben, Formen, Verhalten der Leute, taktile Reize

Es gibt auch sozialen Kontext, der eine große Rolle spielt:
Unter Freunden kann man schlimme Wörter verwenden, ohne dass jemand beleidigt ist.
So entstehen,Witz, Satire, Ironie, etc.

Auch hier passieren Fehler.
  • Viele der bekannten optischen Illusionen fallen darunter.
  • Oder dass die Pille, die ich bekomme, etwas gegen mein leiden bewirkt (auch da gibt es unterschiede bei den Färben der Pillen).
  • Oder eben, dass dieselbe Trinkschokolade im orangen Häferl besser schmeckt als im weißen oder beigen.
  • Oder dass der Orangensaft vom Diskonter besser schmeckt als der von der teureren Kette.
  • Oder dass der teurere Wein besser schmeckt als der billige.
  • Ca. 50% des Geschmacks einer Speise werden durch das Gefühl und Geräusch im Mund beeinflusst. Ein großer teil des Rests durch die Farbe (rot eingefärbtes schmeckt süßer, schwarzes faulig, etc.).
  • Die selben Speisen schmecken anders, je nachdem, ob sie fest, püriert, als Gel oder anders gegessen werden (gleiches Licht, gleiche Temperatur).

usw ...

Das kann das Verhalten beeinflussen.
  • Leute bewerten die selbe Situation als schlimmer, wenn sie auf harten Stühlen sitzen als wenn sie auf Polstern sitzen.
  • Ähnlich ist der Unterschied, wenn sie mit der Hand über etwas raues streichen oder über etwas weiches flauschiges.
  • Firmen setzen Düfte in Geschäften oder bei Produkten (Autos) oder sogar in Flugzeugen bewusst ein, was einen nachweisbaren und reproduzierbaren Einfluss auf das Kaufverhalten der Kunden hat
  • Ähnliches mit akustischer Untermalung
  • Ohne die würde auch jeder Film abschmieren.
  • Die selben Filmszenen lösen andere Empfindungen und Hirnreaktionen aus, je nachte, mit welcher Musik sie unterlegt worden sind.
  • Ärzte haben eine höhere Heilungsquote, wenn sie in weiß mit Stethoskop auftreten als normal in zivil.
  • Auch bewirkt ihre Anwesenheit, dass der Blutdruck des Patienten steigt (weißer Kittel-Effekt).
  • Wenn einem Probanden gesagt wird, dass das Schmerzmittel, das er bekommt, nur Kochsalzlösung ist, verschwindet die schmerzlindernde Wirkung.
  • Dazu kommen Effekte wie Priming etc.
  • Die Wahrnehmung einer Situation kann sich auch ändern, je nachdem, welche Person den Probanden damit konfrontiert.
  • Derselbe Inhalt eines Vortrags wird unterschiedlich aufgenommen, je nachdem, wer es vorträgt (so wie hier im Forum ... ;) )


Das war nur an der Oberfläche gekratzt.
__________________
“Leider sind es öfter die Meinungen über die Dinge als die Dinge selbst, wodurch die Menschen getrennt werden.”
-Johann Wolfgang von Goethe (1749 - 1832)

Geändert von Babak (06.02.2013 um 00:29 Uhr).
Babak ist gerade online   Mit Zitat antworten
Alt 06.02.2013, 00:03   #351
Babak
Ich schau nur
 
Benutzerbild von Babak
 
Registriert seit: 30.07.2006
Ort: Wien
Beiträge: 10.565
Babak ist zur Zeit noch ein unbeschriebenes Blatt
Standard Teil 2

Wie wirkt sich das nun bei Hörtests aus?


------------------------------------------------

Unverblindete Tests

Die kann man kurz abhandeln.

Wenn man unterschiedliche Geräte sieht triggert das eine Erwartungshaltung, die die Wahrnehmung beeinflussen kann.
Allein das reicht aus, dass Unterschiede wahrgenommen werden können, die nicht da sind.
Das edlere Gerät klingt anders als das schlichtere, VU-Meter suggerieren Dynamik, Massenlaufwerke zeigen mehr Ruhe usw.

Noch schlimmer, wenn das Umstecken gesehen wird oder der Proband auch selber umsteckt.
Das Hirn integriert die Wahrnehmung des Umsteckens in die Wahrnehmung, eine Veränderung wird erwartet, auch das erhöht die Wahrscheinlichkeit von falsch-positiven Ergebnissen.

Langzeit-Tests sind problematisch, weil es keinen direkten Vergleich zwischen vorher und nachher gibt


------------------------------------------------


"Verblindete" Tests

Während eine Umschaltbox super ist, reicht ein reines Verdecken der Komponenten alleine (also dass man sie nicht sieht) als Verblindung nicht aus.

Wenn der Proband die Umschaltbox selber schaltet, weiß er, dass geschaltet wird.
Somit kann es sein, dass eine Erwartung getriggert wird, dass sich was ändert
Besser ist, dass die Box von jemandem geschaltet wird, der nicht im Raum ist.




Problematisch ist der Ansatz "erst unverblindet - dann verblindet".

Beim ersten Durchgang können alle Fehler des unverblindeten Tests passieren.

Der Vorgang des Verblindens (vor dem Probanden) stellt eine grundlegende Änderung des Kontexts dar.
Das Verblinden kann auf die Erfahrung zurückgreifen, dass wenn man etwas nicht sieht auch keine Unterscheidung möglich ist, und diese Erfahrung wird mit dem Gehörten integriert.

Also ist das alles andere als en verblindeter Test, sondern ändert den Kontext, ähnlich wie das Experiment, bei dem Leute (sogar die Manager der beiden Firmen) nicht bemerkten, dass in der Coca-Cola Dose Pepsi Cola war und umgekehrt.

Das Visuelle wird versucht zu integrieren, kann zu Konflikten mit dem Gehörten führen und das Gehörte wird zugunsten des Gesehenen unterdrückt (der visuelle Sinn ist mit Abstand der dominantere).

Das hier ist der Punkt, an dem das einem Magischen Trick ähnelt: Alleine durch den Vorgang des Verblindens ändert sich die Wahrnehmung des Probanden und kann bestehende Unterschiede verdecken.




------------------------------------------------


Beide Testansätze

Kritisch sehe ich bei beiden Parteien, wie über die Tests kommuniziert wird.



Im Voraus wird gesagt, was gehört werden wird (Du wirst den Unterschied hören / Du wirst nach der Verblindung keinen Unterschied hören).
Schon mal beobachtet, wie Magier vor den Tricks sagen, was nun gleich passieren wird, und somit die Aufmerksamkeit auf etwas bestimmtes und weg von anderen lenken? ;)

Dadurch kann eine Erwartung geschaffen, die die Wahrnehmung beeinflussen kann.
Aufmerksamkeiten werden auf bestimmte Punkte gelenkt und von anderen Weg.
Dieser Effekt der Aufmerksamkeits-Ablenkung kennen wir aus dem Gorilla-Experiment




Die Aussagen, wie vielen es schon so gegangen ist, setzen einen gewissen Kontext fest.

Leute tendieren oft dazu, ihre Wahrnehmung und ihr Verhalten an die einer Gruppe anzupassen.
Wenn es 100e andere genau so empfunden haben und nicht anders, wird es schwerer, eine andere Reaktion zu zeigen.

Noch dazu wird das von Leuten kommuniziert, die in HiFi-Kreisen bzw. durch ihre Präsenz in den Foren eine gewisse Experten-Rolle einnehmen.
Das verstärkt die Erwartung gegenüber dem, als wenn es bloß irgendwer Unauffälliger behauptet.



Solche Einflüsse des Kontexts wurden z.B. von Cialdini beschrieben und sind integraler Bestandteil von Verkaufsgesprächen und Marketing.
Hier treten vor allem die Faktoren
  • Konsistenz (keine Änderung der anfänglichen Haltung)
  • Anpassung (an das Verhalten anderer)
  • Glaubwürdigkeit des erwarteten Ergebnisses (durch Plausibilität, Aussagen anderer, vergangene Testergebnisse noch dazu wenn die systematisch und fundiert wirken, Autorität des anderen (Expertenmeinung hat mehr Gewicht als die eines Laien), logische Ableitung ("klar, unverblindet kann man nichts mehr hören, ist ja alles eingebildet"))


Alleine die Kommunikation im Vorfeld, welche Ergebnisse es bisher gegeben hat, und welches Ergebnis aus welchem Grund zu erwarten ist, können den Kontext manipulieren , in dem der Proband den Test durchmacht.
Zusätzlich führt auch der Meinungsführer selber den Tests durch. Meist ist er auch eine sehr präsente Person in den HiFi-Foren, der auch eine Experten-Stellung in Sachen HiFi-einnimmt.


Das ist keine saubere Verblindung.
Eigentlich ist das gar keine Verblindung.



Und gerade die wäre für neutrale Aussagen wichtig, die hier so hochgehalten werden.


------------------------------------------------




Ergebnisse


Jeder Test, ohne Ausnahme, zeigt Variation.
bei einem solchen Diskriminierungstest (Ja/Nein) schwankt das zwischen folgenden 4 Möglichkeiten.
a) Richtig positiv (tatsächlicher Unterschied wird gehört)
b) Falsch positiv (kein Unterschied vorhanden, Proband nimmt dennoch etwas wahr)

c) Richtig negativ (kein Unterschied vorhanden, Proband nimmt auch nichts wahr)
d) Falsch negativ (der Proband nimmt einen tatsächlich vorhandenen Unterschied nicht wahr)
Erst wenn die Testmethode alle diese 4 Möglichkeiten voneinander unterscheiden kann, ist eine neutrale Aussage möglich.

Und erst dann kann man von irgendwelchen Wahrscheinlichkeiten, Ausnahmen und Relevanten reden.
Denn erst dann hat man Fakten in der Hand.

Kann das der Test nicht, so kann man nicht sagen, wie richtig oder wie falsch die Ergebnisse sind.


Jeder Tests ohne saubere Kontrollen ist normalerweise invalid und erlaubt somit keine neutrale Aussage.



------------------------------------------------

Zusammengefasst:

Die bisherigen versuche waren ncht mal sauber einfach verblindet und nicht kontrolliert.

Es gibt weitaus mehr Einflüsse auf die Wahrnehmung als nur den Unterschied der Komponenten.
Und man kann nicht sagen, wie viele oder wie wenige falsche Ergebnisse produziert worden sind - ein riesiger blinder Fleck

Somit sind keine neutralen Aussagen möglich.


------------------------------------------------



Was wären einfache zusätzliche Maßnahmen, die wenig Aufwand bedeuten und wenig kosten?

  1. Kein Wechsel zwischen unverblindet und verblindet - Komponenten ausschließlich verblindet einsetzen
  2. Die Umschaltbox von einer Person in einem anderen Raum schalten lassen.
  3. Diese leidige Kommunikation im Vorfeld endlich abstellen, welche Ergebnisse wie zu erwarten sind, und warum was logisch ist.
  4. Die Tests von neutralen Personen an einem Ort durchführen lassen, der nicht mit den Meinungsführern zu tun hat
  5. Vorab auch die Erwartungen der Probanden erfassen (gibt es Unterschiede? ja/nein)
  6. Probanden einzeln und getrennt voneinander einladen (keine Gruppenveranstaltungen, keine Diskussionen vorab miteinander)
  7. Negativkontrollen mitlaufen lassen (Erfassung der falsch Positiven)
  8. Positivkontrollen mitlaufen lassen (Erfassung der falsch Negativen - die Herstellung dieser Kontrollen braucht als einziges etwas Arbeit)
  9. Genügend Datenpunkte sammeln (mindestens 10, besser 20, 30)
  10. Alle 4 Ergebnistypen ausweisen

Kurzum:
  • Doppelt verblindet statt nur einfach.
  • Kontrolliert


Das wäre mal ein sinnvoller Rahmen für die Minimalanforderungen, um wirklich neutrale Ergebnisse zu bekommen, die eine Aussage haben.

Der Zusatzaufwand zum jetzigen Ansatz ist nicht besonders groß.




LG
Babak




---------------------------------

PS:

Zu der Frage, ob ich schon ein Paper gelesen habe, das mich überzeugt hätte:
Klar, ich habe in der Vergangenheit auch etliche davon verlinkt (was zeigt, dass der Fragesteller nur oberflächlich liest)

Ein aktuelles, das mich überzeugt, passend zum Thema:

Attention and awareness in stage magic: turning tricks into research
http://www.nature.com/nrn/journal/v9...l/nrn2473.html
__________________
“Leider sind es öfter die Meinungen über die Dinge als die Dinge selbst, wodurch die Menschen getrennt werden.”
-Johann Wolfgang von Goethe (1749 - 1832)

Geändert von Babak (06.02.2013 um 00:10 Uhr).
Babak ist gerade online   Mit Zitat antworten
Alt 06.02.2013, 08:00   #352
David
Admin und Forumsbetreiber
 
Benutzerbild von David
 
Registriert seit: 15.03.2006
Ort: Wien/Umgebung
Beiträge: 36.251
David hat die Renommee-Anzeige deaktiviert
Standard

Babak, wenn du das nicht nur kopiert und eingefügt hast, dann war das viel Arbeit.

Allerdings sind mMn 2/3 davon unbestritten (Hörpsychologie) und für unsere Tests nicht von Belang, weil ohnehin gegeben.
Das erinnert mich an die sogenannten "wissenschaftlichen Papers" mit 1/4 Inhaltsverzeichnis, 1/4 Einleitungstext , 1/4 an tatsächlicher "Essenz" und dann noch 1/4 Schlusswort.

Kommen wir gleich zu deiner "Essenz":

Zitat:
Kein Wechsel zwischen unverblindet und verblindet - Komponenten ausschließlich verblindet einsetzen
Kein Problem das so zu machen, allerdings wird sich dadurch nichts ändern.
Auch ist es ja so, dass der Proband gerne eine von ihm vorhandene/bekannte/bevorzugte Komponente dabei haben möchte, beispielsweise dann, wenn er an eine Neuanschaffung denkt. Oder aber, wenn er "beweisen" möchte, dass ein bestimmtes Gerät "besser/schlechter" klingt.

Zitat:
Die Umschaltbox von einer Person in einem anderen Raum schalten lassen.
Für mich wäre das eine eindeutige Verschlechterung der Situation. Ich will dann umschalten, wann/wenn ich es für richtig und wichtig halte. Deshalb habe ich meine Umschaltbox mit einer Fernbedienung aufgerüstet.

Zitat:
Diese leidige Kommunikation im Vorfeld endlich abstellen, welche Ergebnisse wie zu erwarten sind, und warum was logisch ist.
Da es hier vorgefasste Meinungen gibt, wird das schwierig.
Aber ich verstehe was du meinst, es soll in Richtung doppelte Verblindung gehen.
Dazu fällt mir ein, dass das bei einem Geschmackstest (ewiges Beispiel: Cola gegen Pepsi) ja auch nicht geht, da wird einem auch einmal das eine und dann das andere Gesöff gereicht.

Zitat:
Die Tests von neutralen Personen an einem Ort durchführen lassen, der nicht mit den Meinungsführern zu tun hat
Wenn du damit "Home-Tests" meinst, dann habe ich Verständnis dafür.
Ansonsten ist es völlig egal, wer die Miete bezahlt, denn die Klappe halten müssen sowieso alle. Am besten ist es (haben wir fast immer so gemacht) wenn der Proband ganz alleine im Raum ist und testet.

Zitat:
Vorab auch die Erwartungen der Probanden erfassen (gibt es Unterschiede? ja/nein)
Probanden einzeln und getrennt voneinander einladen (keine Gruppenveranstaltungen, keine Diskussionen vorab miteinander)
Hatten wir alles schon - ändert nichts.

Zitat:
Negativkontrollen mitlaufen lassen (Erfassung der falsch Positiven)
Positivkontrollen mitlaufen lassen (Erfassung der falsch Negativen - die Herstellung dieser Kontrollen braucht als einziges etwas Arbeit)
Halte ich für unnötig, man testet damit bestenfalls die unterschiedlichen Hörschwellen bzw. den Grad der Suggestion. Fake-Tests funktionieren immer.

Zitat:
Genügend Datenpunkte sammeln (mindestens 10, besser 20, 30)
Alle 4 Ergebnistypen ausweisen
Zustimmung.
-------------------------------------------------

Wieder einmal erwähnst du mit keinem Wort die Wichtigkeit der begleitenden Messungen. Ich meine damit nicht den unumgänglichen Pegelabgleich, sondern beispielsweise Linearitäts- und Klirrmessungen (als die beiden wichtigsten).

Womit wieder alles auf einen Punkt hinausläuft und man sich den ganzen Wust an Theorie sparen könnte:

-> gibt es Relevantes zu messen oder nicht?

-> wenn nicht, ist es lächerlich, einen Unterschied hören zu wollen.

-> wenn ja, ist es eine Frage der Hörschwelle(n).

So einfach ist es für mich seit 'zig Jahren und noch nie (!) konnte wer beweisen, dass da "noch mehr" dahinter ist.
---------------------------------------------------------------------------------------

Kommen wir wieder zu diesem Forum.
Von mir aus kann man hier auch über dieses "noch mehr" diskutieren bis zum Nimmerleinstag. Aber bitte in eigens dafür erstellte Threads (und nur so nebenbei, ohne mich).

Was ich keinesfalls mehr möchte, ist das Verwässern von Threads mit genau diesem "da könnte noch mehr sein", weil das in den meisten Fällen gar nicht gefragt ist und somit nur stört.

Damit können in Zukunft vielleicht auch Streitereien verhindert werden (dazu die Möglichkeit vom Ausschluss unliebsamer User nützen).

Das heißt im Klartext: wenn ich merke, dass es bei einer einfachen Fragestellung wieder zu besagter Verwässerung kommt, dann kopple ich das in einen eigenen Thread aus und dort können sich die Leute die das interessiert dementsprechend austoben.
__________________
Gruß
David


Erst wenn man begriffen hat, dass Raumakustik, Lautsprecheraufstellung und Hörplatzwahl wichtiger sind als die Anlage selbst, hat man die Audiowiedergabe verstanden.
Auch Personen, die noch wenig Wissen auf diesem Gebiet haben, oder solche, die Rat und Hinweise von Erfahrenen suchen, sind hier richtig.
Meine Auffassung von seriösen Vergleichstests: Klick mich - Die bisherigen Testergebnisse: Klick mich - Private Anlage: Klick mich
Grundsätzlich: Behauptungen die mir bedenklich erscheinen, glaube ich erst, wenn sie mir in Form eines verblindeten Vergleichs bewiesen werden konnten. Das gilt für das was ich selbst zu hören glaube ebenso.
Eine Bitte an Alle: nicht ganze (noch dazu große) Beiträge zitieren und darunter einen kurzen Kommentar schreiben! Besser (beispielsweise): "Volle Zustimmung zu Beitrag 37".
David ist offline   Mit Zitat antworten
Alt 06.02.2013, 08:18   #353
Babak
Ich schau nur
 
Benutzerbild von Babak
 
Registriert seit: 30.07.2006
Ort: Wien
Beiträge: 10.565
Babak ist zur Zeit noch ein unbeschriebenes Blatt
Standard

Hallo David

Danke für deine sachliche Antwort.


Da sind sehr gute Punkte darunter.Sobald ich etwas Luft habe, schreibe ich was dazu.

Heute steht " Wall of Bass" am Programm.



LG
Babak
__________________
“Leider sind es öfter die Meinungen über die Dinge als die Dinge selbst, wodurch die Menschen getrennt werden.”
-Johann Wolfgang von Goethe (1749 - 1832)
Babak ist gerade online   Mit Zitat antworten
Alt 06.02.2013, 08:29   #354
David
Admin und Forumsbetreiber
 
Benutzerbild von David
 
Registriert seit: 15.03.2006
Ort: Wien/Umgebung
Beiträge: 36.251
David hat die Renommee-Anzeige deaktiviert
Standard

Babak, wünsche viel Spaß!

__________________
Gruß
David


Erst wenn man begriffen hat, dass Raumakustik, Lautsprecheraufstellung und Hörplatzwahl wichtiger sind als die Anlage selbst, hat man die Audiowiedergabe verstanden.
Auch Personen, die noch wenig Wissen auf diesem Gebiet haben, oder solche, die Rat und Hinweise von Erfahrenen suchen, sind hier richtig.
Meine Auffassung von seriösen Vergleichstests: Klick mich - Die bisherigen Testergebnisse: Klick mich - Private Anlage: Klick mich
Grundsätzlich: Behauptungen die mir bedenklich erscheinen, glaube ich erst, wenn sie mir in Form eines verblindeten Vergleichs bewiesen werden konnten. Das gilt für das was ich selbst zu hören glaube ebenso.
Eine Bitte an Alle: nicht ganze (noch dazu große) Beiträge zitieren und darunter einen kurzen Kommentar schreiben! Besser (beispielsweise): "Volle Zustimmung zu Beitrag 37".
David ist offline   Mit Zitat antworten
Alt 06.02.2013, 16:18   #355
David
Admin und Forumsbetreiber
 
Benutzerbild von David
 
Registriert seit: 15.03.2006
Ort: Wien/Umgebung
Beiträge: 36.251
David hat die Renommee-Anzeige deaktiviert
Standard

Ich werde mir jetzt den Wahnsinn antun und zu trennen beginnen. Ihr könnt auch weiterschreiben, es landet dann wahrscheinlich auch im neuen Thread.
__________________
Gruß
David


Erst wenn man begriffen hat, dass Raumakustik, Lautsprecheraufstellung und Hörplatzwahl wichtiger sind als die Anlage selbst, hat man die Audiowiedergabe verstanden.
Auch Personen, die noch wenig Wissen auf diesem Gebiet haben, oder solche, die Rat und Hinweise von Erfahrenen suchen, sind hier richtig.
Meine Auffassung von seriösen Vergleichstests: Klick mich - Die bisherigen Testergebnisse: Klick mich - Private Anlage: Klick mich
Grundsätzlich: Behauptungen die mir bedenklich erscheinen, glaube ich erst, wenn sie mir in Form eines verblindeten Vergleichs bewiesen werden konnten. Das gilt für das was ich selbst zu hören glaube ebenso.
Eine Bitte an Alle: nicht ganze (noch dazu große) Beiträge zitieren und darunter einen kurzen Kommentar schreiben! Besser (beispielsweise): "Volle Zustimmung zu Beitrag 37".
David ist offline   Mit Zitat antworten
Alt 06.02.2013, 17:31   #356
Albus
Erfahrener Benutzer
 
Registriert seit: 16.07.2010
Beiträge: 772
Albus befindet sich auf einem aufstrebenden Ast
Standard Der erwähnte 'Blindtest' bei scope/Scheller...

Tag,

... hat einige Besonderheiten, die so im Gegenstandsbereich alltäglicher 'Blindtests' noch nicht vorgekommen waren: zum Beispiel ein Hinundher in einem Hörvergleichsdurchgang zwischen mehreren Titeln oder CDs, auch beides (hier waren dann auch sechs CDs verfügbar gewesen), darunter als Test-Programmmaterial "Die Toten Hosen". Der Proband hat sich erst im Verlauf der Durchgänge das zur unterscheidenden Bestimmung führende Programmmaterial aus den verfügbaren je CDs zusammengesucht. Kein stehendes Sample X per A oder B. Interessant.

Wer sich interessierte oder auch nicht, der Link, zuletzt nach Detailfragen in der Antwort auf der Seite 724, Beitrag Nr. 14995: http://www.hifi-forum.de/index.php?a...ead=7738&z=724

Es wird nach dem Willen der Beteiligten (scope, bampa) zu einer Wiederholung kommen, dann mit einer erweiterten Vorwegmessung der Verstärker, einer etwas anderen Kalibrierung und einer höheren Zahl an Versuchen zu einer Vergleichs-Session.

Freundlich
Albus

Die Musikauswahl des Probanden:
"Meine Musikauswahl:

Fresh Blues Vol6.
Bush best of 94 -99
Real Rock Blues
Mando Diao Unplugged
Tote Hosen Unplugged
Cypress Hill Black Sunday"
(Seite 722, Beitrag Nr. 14944)
A.

Geändert von Albus (06.02.2013 um 17:40 Uhr).
Albus ist offline   Mit Zitat antworten
Alt 06.02.2013, 18:35   #357
tf11972
Traut seinen Ohren nicht
 
Benutzerbild von tf11972
 
Registriert seit: 08.09.2011
Beiträge: 309
tf11972 befindet sich auf einem aufstrebenden Ast
Standard

Sind eigentlich auch Vergleiche verschiedener Auflösungen von Interesse? Demnächst habe ich einige Leute eingeladen, die ich gerne als Probanden missbrauchen möchte.

Ich habe einige Eigenaufnahmen in 24/96 auf der Platte, muss mich also nicht auf vorgegebene Hörtestscheiben verlassen. Ich werde also ein Stück nehmen und es selbst in verschiedene Auflösungen umwandeln, die ich dann den Probanden nacheinander vorspiele, ohne dass sie wissen, welche Auflösung gerade gespielt wird.

24/192 lasse ich außen vor (siehe http://people.xiph.org/~xiphmont/demo/neil-young.html). Generell kann ich nämlich den Hype um die Hochbit-Files nicht nachvollziehen, vom produktionstechnischen Gesichtspunkt einmal abgesehen.
__________________
Viele Grüße
Thomas

www.forestpipes.de
tf11972 ist offline   Mit Zitat antworten
Alt 07.02.2013, 12:07   #358
soundfanfischer
MasternderMusiker
 
Benutzerbild von soundfanfischer
 
Registriert seit: 15.05.2011
Ort: Bad Häring
Beiträge: 400
soundfanfischer befindet sich auf einem aufstrebenden Ast
Standard

Hallo,

also da bin ich gespannt :-) meine Erfahrungen mit Hochauflösenden Sachen sind die, das ich das fast immer nur am z.B.: Applause oder bei Klassik (was mir nicht gefällt) erahnen kann.
Ich werde aber am WE mal was in verschiedenen Qualitäten rippen und mich mal durchhören.
Ich nehme aber mal an, das ich wenn überhaupt, die Unterschiede nur mit KH vernehmen werde da meine Anlage zwar spitze ist, aber der Raum zu wünschen übrig lässt.

LG Gerry
__________________
Legastheniker

www.gerry-fischer.at
soundfanfischer ist offline   Mit Zitat antworten
Alt 07.02.2013, 12:48   #359
Jakob
Erfahrener Benutzer
 
Registriert seit: 17.08.2010
Beiträge: 930
Jakob befindet sich auf einem aufstrebenden Ast
Standard

Die Gütekriterien, an denen sich Tests orientieren müssen, sind Objektivität, Reliabilität und Validität.

Weil die Erfüllung dieser Gütekriterien bei "offenen Tests" schwer bis gar nicht darstellbar ist, sind weitergehende Schlußfolgerungen aus ihren Resultaten nicht so recht möglich, und, da es eben andere Varianten gibt, werden sie im wissenschaftlichen Bereich nicht verwendet.

Anders sieht es gezwungenermaßen in den Fachbereichen aus, in denen prinzipbedingt keine "Blindtests" möglich sind, ansonsten wäre dort überhaupt kein Fortschritt möglich.
Es gibt demzufolge durchaus Möglichkeiten, denn "offen" bedeutet ja nicht, daß man jegliche Kontrolle aufgibt.

Nun hat Babak offenkundig recht, wenn er schreibt, es sei schon ein bißchen merkwürdig, sich einerseits im Fundus des wissenschaftlichen Ansatzes zu bedienen (Verblindung, Pegelabgleich usw.) aber andererseits den "Rest" des Ansatzes geradezu zu verteufeln.

Diese Vorgehensweise scheint ausgeprägtem "Confirmation Bias" geschuldet.

Zitat:
Jeder Tests ohne saubere Kontrollen ist normalerweise invalid und erlaubt somit keine neutrale Aussage.
Ich vermute, Babak meint mit "neutraler Aussage" eine weitergehende Schlußfolgerung aus Testresultaten, denn ohne gegebene Erfüllung der Gütekriterien, kann man nur relativ lapidar das Resultat eines Hörtests verkünden (aka "Nullhypothese konnte/konnte nicht zurückgewiesen werden), aber man weiß nicht weshalb das Resultat so ausfiel.

Die Wertung "invalid" hingegen ist problematisch, weil man das iaR eben nicht untersucht hat.
Fehlender Nachweis gegebener Validität ist nicht gleichbedeutend mit "invalid" .

Nun behauptet Hifiaktiv, es könne sich überhaupt nur um einen "marginalen Rest" handeln, ansonsten brauche man das "ganze Gedöhns" nicht- noch garniert mit der, Exaktheit des Wissens vermittelnden, Prozentangabe von 0,1% Restgröße.

Tatsächlich ist das eine Behauptung "aus dem hohlen Bauch" ;) , ich kann mit Fug und Recht behaupten, das unsere Ergebnisse aus kontrollierten Tests nahelegen (im Rahmen der Fehlerwahrscheinlichkeiten), daß hifiaktiv vollkommen falsch liegt.

Nur, was hilfts? :)

Gruß
__________________
Gewerblicher Teilnehmer. Entwicklung, Herstellung und Vertrieb von Audiotechnik. (u.a.)
Jakob ist offline   Mit Zitat antworten
Alt 07.02.2013, 15:44   #360
David
Admin und Forumsbetreiber
 
Benutzerbild von David
 
Registriert seit: 15.03.2006
Ort: Wien/Umgebung
Beiträge: 36.251
David hat die Renommee-Anzeige deaktiviert
Standard

Zitat:
Nun behauptet Hifiaktiv, es könne sich überhaupt nur um einen "marginalen Rest" handeln, ansonsten brauche man das "ganze Gedöhns" nicht- noch garniert mit der, Exaktheit des Wissens vermittelnden, Prozentangabe von 0,1% Restgröße.
OK, Jakob, die 0,1% sind natürlich Käse, aber dass es sich beim eventuell vorhandenen Rest (!wichtig! - denn wer sagt, dass da überhaupt noch was ist?) nur um eine Winzigkeit handeln kann, das sollte klar sein.

Zitat:
Tatsächlich ist das eine Behauptung "aus dem hohlen Bauch" , ich kann mit Fug und Recht behaupten, das unsere Ergebnisse aus kontrollierten Tests nahelegen (im Rahmen der Fehlerwahrscheinlichkeiten), daß hifiaktiv vollkommen falsch liegt.
Wie hoch schätzt du den möglichen Prozentsatz ein, wenn auch nach ganz vielen Versuchen kein Unterscheid zu hören ist und es auch nichts Relevantes zu messen gibt?

Zitat:
Nur, was hilfts? :)
Leider nichts. Je nachdem welchen Standpunkt man vertritt, wird man sich dabei positionieren.

Mein Standpunkt ist klar, es gibt für mich nicht den geringsten Anlass, irgendwo nachzubessern.
__________________
Gruß
David


Erst wenn man begriffen hat, dass Raumakustik, Lautsprecheraufstellung und Hörplatzwahl wichtiger sind als die Anlage selbst, hat man die Audiowiedergabe verstanden.
Auch Personen, die noch wenig Wissen auf diesem Gebiet haben, oder solche, die Rat und Hinweise von Erfahrenen suchen, sind hier richtig.
Meine Auffassung von seriösen Vergleichstests: Klick mich - Die bisherigen Testergebnisse: Klick mich - Private Anlage: Klick mich
Grundsätzlich: Behauptungen die mir bedenklich erscheinen, glaube ich erst, wenn sie mir in Form eines verblindeten Vergleichs bewiesen werden konnten. Das gilt für das was ich selbst zu hören glaube ebenso.
Eine Bitte an Alle: nicht ganze (noch dazu große) Beiträge zitieren und darunter einen kurzen Kommentar schreiben! Besser (beispielsweise): "Volle Zustimmung zu Beitrag 37".
David ist offline   Mit Zitat antworten
Antwort

Lesezeichen


Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)
 
Themen-Optionen
Ansicht

Forumregeln
Es ist Ihnen nicht erlaubt, neue Themen zu verfassen.
Es ist Ihnen erlaubt, auf Beiträge zu antworten.
Es ist Ihnen nicht erlaubt, Anhänge hochzuladen.
Es ist Ihnen nicht erlaubt, Ihre Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Gehe zu



Alle Zeitangaben in WEZ +2. Es ist jetzt 15:20 Uhr.


Powered by vBulletin® Version 3.7.1 (Deutsch)
Copyright ©2000 - 2018, Jelsoft Enterprises Ltd.
Powered by vBCMS® 1.2.2 ©2002 - 2018 vbdesigns.de