HiFi Forum

HiFi Forum (http://www.hififorum.at/forum/index.php)
-   Verblindete Vergleiche (http://www.hififorum.at/forum/forumdisplay.php?f=63)
-   -   Irrungen und Wirrungen rund um Blindtests (http://www.hififorum.at/forum/showthread.php?t=6250)

Jakob 16.02.2012 19:05

Irrungen und Wirrungen rund um Blindtests
 
Es scheint immer noch Mißverständnisse rund um die "Kontrollen" in einem Hörversuch zu geben.

1.) Positivkontrolle

Die Positivkontrolle soll sicherstellen, daß der jeweilige Test ausreichend empfindlich in Bezug auf den untersuchten Effekt ist.

Durch begleitende Messungen kann man sicherstellen, daß die verwendete Wiedergabeanlage eine ausreichende Auflösung bereitstellt.
Da Audiotests einen Hörer benötigen, der als Detektor fungiert, benötigt man eine Positivkontrolle, die sicherstellt, daß der Detektor ausreichend empfindlich reagiert.

Die Positivkontrolle präsentiert einen Stimulus, der sicher erkannt werden muß.
Setzt man Positivkontrollen mit unterschiedlich starkem Effekt während der Trainingsphase ein, erhält man zusätzlich (einen häufig wünschenswerten) Überblick über eine möglicherweise vorhandene Lernkurve.
Diese abgestuften Sensitivitätsniveaus sind iaR motivierender für die Testteilnehmer, weil ein Fortschritt erkennbar ist.


2.) Negativkontrolle

es besteht in jedem Experiment, trotz sorgfältiger Planung und Durchführung, die Möglichkeit, daß es neben dem untersuchten Effekt unbeachtete Störgrößen gibt, die das Ergebnis des Experiments beeinflussen können.

Die Negativkontrolle stellt sicher, daß keine Störgröße das Testresultat einseitig beeinflußt.
In einem Audioexperiment ist es üblicherweise die Präsentation des gleichen Stimulus; das Ergebnis der Negativkontrolle darf nicht signifikant von einem Rateergebnis abweichen.

Gruß

Jakob 16.02.2012 19:17

Zitat:

Zitat von Scheller (Beitrag 220515)
<snip>

Nochmal ein Gleichnis: Es soll festgestellt werden, ob ein Proband das "ablegen" einer Daune auf seinem Kopf bemerkt.
Als Positivkontrolle legt man eine Autofelge auf seinem Kopf ab.
Der Proband merkt das, und nachdem er das Krankenhaus wieder verlassen kann, kann er den Test mir der Daune angehen....Der Test ist dann "kontrolliert" und von bösartigen Mechanismen befreit.... <snip>


Der bisherige Status Quo ist der, daß in den meisten Fällen noch nicht einmal bekannt ist, ob der Proband überhaupt die "Autofelge" bemerkt; die wenigen dokumentierten Fälle legen eher nahe, daß es ihm schon schwerfällt "Autofelge+Auto" zu erkennen.

ME ist schwer vermittelbar, daß dieser Status Quo in irgendeiner Form besser sein sollte, als zumindest über die "Autofelge" Bescheid zu wissen.

Nun zwingt uns ja niemand, bei der "Autofelge" Halt zu machen, denn in den meisten Fällen haben wir zumindest eine "Nußschale" zur Verfügung, wenn nicht sogar eine Daune eines anderen Gefieders.

In jedem Fall nützt das Wehklagen nichts, eine sinnvolle Positivkontrolle ist zwingender Bestandteil eines Experiments, das _sinnvolle_ Schlußfolgerungen ermöglichen soll.

Bei bekannt meßtechnisch kleinen Differenzen ist es ein plausibler Ansatz, sich mit der Positivkontrolle an den feinsten, als hörbar bekannten, Unterschieden zu orientieren.

Gruß

Jakob 16.02.2012 19:40

Zitat:

Zitat von paschulke2 (Beitrag 220448)
Wenn also ein Holzohr die Teilnehmer auswählt, braucht man unbedingt Positivkontrollen, während man bei einem Test mit von einem Goldohr handverlesenen Goldohren darauf verzichten kann?

Nein, es bestand ein Kausalzusammenhang zwischen den Testbedingungen, die nicht vom "Normalzustand" abweichen und der Auswahl aufgrund von Erfahrungen, fußend auf diesem Normalzustand.

Zitat:

<snip> Klar, wenn der Testteilnehmer die Eignung der Teilnehmer _wirklich_ beurteilen kann, dann braucht man natürlich den ganzen Kram, den man sonst den Holzohren immer um dieselben haut, nicht. Es sei denn, am Ende kommt das falsche raus – dann hat man aber immerhin schon mal 'ne nette Ausrede.
Nicht der Testteilnehmer, sondern der Experimentator. Die Auswahl eines Expertentestfeldes erfolgt normalerweise aufgrund von Erfahrungen mit dem Hörvermögen der Experten.

Bei einem der üblichen, "eher unnormalen" Testabläufe könnte man es ähnlich handhaben, wenn man Erfahrungen unter diesen Testbedingungen mit den Teilnehmern bereits hätte.

Nachvollziehbarerweise kann man das Testergebnis (es gab einen wahrnehmbaren Unterschied im Rahmen der Wahrscheinlichkeitsbewertung) nicht mit der Begründung kritisieren, daß es keine Positivkontrolle gab.

Man "haut" übrigens den "Holzohren" den "Kram" nicht grundsätzlich um die Ohren, sondern dann, wenn Holzohr aus "seinem" (aka negativem) Wunschergebnis maximale Schlußfolgerungen zieht, obwohl über die Testgüte _nichts_ bekannt ist.

@ Scheller,

Zitat:

Zitat von Scheller (Beitrag 220451)
<snip>

Du willst damit also andeuten, dass DU dich für jemanden hälst, der die "Eignung" seiner dahergelaufenen "Kumpanen" beurteilen konnte

Selbstverständlich, wer sollte das besser können?
Wohlgemerkt, ich beurteile nicht aus Ferne Menschen, die ich noch nie getroffen habe (deine Formulierung war sinngemäß "kenne doch diese Kreise"...).

Zitat:

, während andere Leute das mit ihren Kumpanen nicht können?
Und daher sind die heruntergebeteten Kontrollen in deinem Fall nicht mehr nötig?...
Ich bin gerne bereit zu glauben, daß andere das ebenfalls können. Wenn es also Tests gibt, die die Gütekriterien erfüllen und bestätigen.....

BTW, wie gesagt, der gewählte Testablauf (fünf Teilnehmer mit fünf verschieden Wiedergabeanlagen, Randomisierung, identisch aussehende Geräte usw.) übernahm die Negativkontrollfunktion.

Gruß

Scheller 18.02.2012 10:46

Zitat:

Die Positivkontrolle soll sicherstellen, daß der jeweilige Test ausreichend empfindlich in Bezug auf den untersuchten Effekt ist.
Dann Frage ich jetzt zum zwanzigsten mal, wie man eine Positivkontrolle für Kabeltests -praxisgerecht- ausführt.
Damit meine ich DERART PRAXISGERECHT, dass die Positivkontrolle sicherstellt, dass der Test austreichend empfindlich für den "gesuchten Effekt" ist.

Bei der anscheinend gezielt verwendeten Formulierung "gesuchter Effekt" fällt auf, dass der Effekt nicht zwingend mit den physikalischen Einflüssen der Kabel auf die Musikübertragung zu tun haben muss. Der Effekt könnte auch an völlig anderer Stelle entstehen.

Bitte die weiter oben stehende Frage nicht vergessen....Da ist übrigens Jeder gefragt.

Zitat:

Der bisherige Status Quo ist der, daß in den meisten Fällen noch nicht einmal bekannt ist, ob der Proband überhaupt die "Autofelge" bemerkt;
Das ist nicht mehr als ein Ausweichmanöver. Die Frage könnte man durch ermüdend hohe Anzahl von Durchgängen mit 100%iger Trefferquote beantworten.
Wie üblich -alles- eine Frage der Größenordnungen.
Da musst du nicht lange "rumeiern".....Das ist nicht angebracht.

Zitat:

Nicht der Testteilnehmer, sondern der Experimentator.
Das war (m)ein Fehler...Dort sollte Testleiter stehen. Das war aber ohnehin klar.

Zitat:

Die Auswahl eines Expertentestfeldes erfolgt normalerweise aufgrund von Erfahrungen mit dem Hörvermögen der Experten.
In deinem Fall waren das aber nur ein oder zwei dahinposaunte Sätze......Damit wir uns verstehen : Da könnte ja Jeder kommen.

Zitat:

Nachvollziehbarerweise kann man das Testergebnis (es gab einen wahrnehmbaren Unterschied im Rahmen der Wahrscheinlichkeitsbewertung) nicht mit der Begründung kritisieren, daß es keine Positivkontrolle gab.
Gut, dann lassen wir die Formulierung so stehen. Wenn ich mit einer Münze 5 x hintereinander Kopf werfe (was mir gerade eben gelungen ist) , dann könnte man es ebenso betrachten. Den Rest darf sich jeder denken.

Zitat:

Selbstverständlich, wer sollte das besser können?
Der Eismann, Schneewittchen und die ehemaligen Klassenkameraden der Probanden. Nur um ein paar zu nennen.

Achso, solltest du damit nicht einverstanden sein, dann kann das natürlich jeder andere bei seinen Kumpanen ebenso....Ich natürlich auch. Und in Jakobscher Manier muss ich da erstmal garnichts "belegen". Ich kann es nunmal!

Zitat:

Ich bin gerne bereit zu glauben, daß andere das ebenfalls können. Wenn es also Tests gibt, die die Gütekriterien erfüllen und bestätigen.....
Anhand deines Auftrittes bist du Derjenige, der einen seiner gut dokumentieren Tests veröffentlichen sollte.
Du bist Derjenige, der transparente Fakten vorlegen sollte, denn die von dir lapidar aufgelisteten Bedingungen kann man bei deinem Pseudotest nicht erkennen. Man soll "glauben", was in deinem Fall zunehmend schwerer fällt.

Mir ist durchaus bewusst, dass man eine derartige "Transparenz" von dir niemals erwarten darf. Eine lückenlose Veröffentlichung eines deiner Tests, würde (sofern nicht von vorne bis hinten erfunden) eine enorme Angriffsfläche bieten.
Das weisst du nur zu gut. Allerdings weisst du aber ebensogut, dass man deine "Schlitzohrigkeit" auf breiter Forenfront erkannt hat, und dass man dir den selbstlosen Forscher und Wissenschaftler ganz und garnicht nicht abkauft.

David 18.02.2012 11:45

Da muss man doch gar nicht lange nachdenken, eine Positivkontrolle so wie gewünscht zu erstellen, ist nicht machbar, weil die Unterschiede zwischen den zu testenden Medien viel zu klein sind.

Somit kann man nur (was dann auch schon längst messtechnisch nachweisbar wäre), "schwere Fehler" einbauen, die "meilenweit" von den tatsächlich zu erwartenden entfernt sind. Warum sie so groß sein müssen ist klar, weil man sie sonst nicht hören kann!

Die Frage ist viel eher, ob man - wie vorgeschlagen - nur weil man einen Kabeltest machen will, dazu ein völlig "obskures" Kabel heranschaffen muss, dass kein normaler Mensch je verwenden würde.

Bei Verstärkern und CDPs ist es ja kaum anders. Was muss man da für "Krücken" nehmen, um was zu hören? Wie "defekt" muss so ein Objekt zum Erstellen einer Positivkontrolle sein?

Das ist doch komplett sinnlos!

Wer feststellen möchte (was ja ansich schon ziemlich lächerlich ist), ob eine Anlage gut genug dazu ist um Fehler aufzudecken (wer würde dazu eine 300 Euro All-in-one Anlagen nehmen?), der müsste dazu vorgegebene Samples verwenden, von denen man weiß, dass sie von einem Großteil der Hörer erkannt werden.

Deshalb rede ich schon seit geraumer Zeit davon, solche Samples einmal zu erstellen.

Reno Barth 18.02.2012 11:47

Zitat:

Zitat von Hifiaktiv (Beitrag 220770)
Somit kann man nur (was dann auch schon längst messtechnisch nachweisbar wäre), "schwere Fehler" einbauen, die "meilenweit" von den tatsächlich zu erwartenden entfernt sind. Warum sie so groß sein müssen ist klar, weil man sie sonst nicht hören kann!

sollte sich dabei aber herausstellen, dass man im Setting der Forenblindtests auch diese Fehler nicht hört (wofür einige Anekdoten sprechen), so kann man schon davon ausgehen, dass diese Tests eben nicht funktionieren.

lg
reno

Albus 18.02.2012 11:51

Tag,

anfangs wäre zu bestimmen, was im konkreten Fall als Kabelklang überhaupt gemeint ist.

Zur Wahl stünde:
A. Veränderung des Hörereignisses (d.i. der Wahrnehmungsakt) nach Wechsel der Verkabelung bzw. einer Teileinheit der Verkabelung eines Audio-Systems. Beispiel: 40 ft. 16 AWG gegen 5 ft. 16 AWG (Verstärker dichter an LS heran).
B. Wiedergabeaspekte (etwa: Tiefe, Stereopanorama, Auflösung), die als Produkteigenschaften einer Kabelkomponente mit diesem Kabel gegeben sind. Beispiel: 3 m Exotic Superior II Line gegen 3 m Mogami 3103.

Freundlich
Albus

David 18.02.2012 11:54

Reno, das sehe ich anders: der Mensch hört viel schlechter als er annimmt. Das ist die traurige Wahrheit.

Allerdings ist es sicher so, dass wenn man auf bestimmte Dinge aufmerksam gemacht wird (mit ganz bestimmten Musikstücken, die das überhaupt ermöglichen!) und wenn sich der Proband dann nur noch darauf konzentriert (da sind wir wieder beim Gorilla), doch noch um einiges mehr zu erkennen.

Das ist aber im Normalfall nicht so.

David 18.02.2012 12:03

Zitat:

Tiefe, Stereopanorama, Auflösung
Mit keinem Kabel dieser Welt ist das zu beeinflussen. Wenn überhaupt, dann sind lineare Verzerrungen möglich, aber (und jetzt sind wir wieder bei den Größenordnungen - bitte höflichst um neuerliche Herbeischaffung der Bartaufwickelmaschine) die sind im Normalfall (auch dieses Wort gehört längst auf eine Fixtaste gelegt) so winzig, dass keine Mensch dieser Welt (wieder Fixtaste nötig) das hören kann.

Kommt doch bitte endlich von diesen absurden Vorstellungen weg! Die wurden euch doch nur einsuggeriert! Aufwachen bitte!

MusikistTrumpf 18.02.2012 12:06

Zitat:

Zitat von Hifiaktiv (Beitrag 220773)
Reno, das sehe ich anders: der Mensch hört viel schlechter als er annimmt. Das ist die traurige Wahrheit.

Allerdings ist es sicher so, dass wenn man auf bestimmte Dinge aufmerksam gemacht wird (mit ganz bestimmten Musikstücken, die das überhaupt ermöglichen!) und wenn sich der Proband dann nur noch darauf konzentriert (da sind wir wieder beim Gorilla), doch noch um einiges mehr zu erkennen.

Das ist aber im Normalfall nicht so.

Der Mensch hört viel besser, als man gemeinhin annimmt.

Aber: sein Gehirn ist beim Durchschnittsmenschen sehr leicht zu manipulieren.

Und wenn nun bei einem BT oder sonstige gearteten Test jemand dabei ist, der schon bei der Begrüßung sagt"ich weiß gar nicht, warum wir uns heute treffen, das bringt eh nichts, weil es keine hörbaren Unterschiede gibt", dann ist schon der erste - und größte Fehler - beim Test gemacht worden.

Da aber nun gerade dieses beeinflussen - gilt letztlich für beide Seiten - schon wegen des Naturells der handelnden Personen nicht verhindert werden will, sind solche Test wirklich Zeitverschwendung.

Albus 18.02.2012 12:08

Tag,

das Hörvermögen hat drei Elemente: die Hörschwellen, die Hörschärfe, das Hörgedächtnis. Darin wirken drei Kognitionskomplexe zusammen: primitive Prozesse und Mechanismen, erlernte kognitive Schemata sowie willkürliche Schemata. - Wer die situationsfunktionale oder stoffliche (Musik, Sprache, Geräusche) optimale Nutzung nicht geübt hat (Training), insbesondere das Vermögen des Hörgedächtnisses, der kommt im Falle von über den Alltag hinausreichenden Beobachtungsanforderungen nicht gut zurecht, vielmehr bleibt derjenige hinter einem zurück, der sich der Anstrengung der Übung und Erfahrung unterzogen hat oder eine der sog. Inselbegabungen des Hörens darstellt.

Merke: Es geht nicht nur um Hörschwellen, es geht um mehr...

Freundlich
Albus

David 18.02.2012 12:12

Zitat:

es geht um mehr...
Ja, das glauben Viele. Was dieses "Mehr" aber sein soll, das weiß Niemand. Man hätte es nur gerne.;O

MusikistTrumpf 18.02.2012 12:20

Zitat:

Zitat von Hifiaktiv (Beitrag 220779)
Ja, das glauben Viele. Was dieses "Mehr" aber sein soll, das weiß Niemand. Man hätte es nur gerne.;O

Hier ist es:

http://www.open-end-music.de/vb3/sho...3&postcount=70

:B

Klar formuliert. :D

knie 18.02.2012 12:34

Zitat:

Zitat von MusikistTrumpf (Beitrag 220783)
Hier ist es:

http://www.open-end-music.de/vb3/sho...3&postcount=70

:B

Klar formuliert. :D


Man sieht förmlich wie er sich freut, nett zu lesen, das meine ich nicht sarkastisch.

Wenn man allerdings durch solche Höhen geht, müssen auch wieder Tiefen kommen,
da ist mir mein abgeklärtes Hören doch lieber ...

Beste Grüsse,
Tom

Blindniete 18.02.2012 12:39

mit Interesse verfolge ich die Anstrengungen des User Knie einen "wasserdichten" BT zu gestalten.

Doch was kann das Ergebnis sein, egal wie wissenschaftlich er gestaltet wird.

Meines Erachtens nicht mehr als:

Eine Gruppe von Hörern erkennt/erkennt nicht den Kabelklang in einer bestimmten Situation mit bestimmten Geräten und deren Kabelverbindung.

Ändern in der nachfolgenden Diskusion wird sich dadurch nichts, nichtmal gar nichts.

Wäre es nicht sinnvoller, man würde die Möglichkeit eines BT für zu Hause untersuchen.
Dann könnte Jeder ohne Druck und anonym testen, was er sich zu testen in der Gruppe vielleicht nicht traut.


Alle Zeitangaben in WEZ +2. Es ist jetzt 04:37 Uhr.

Powered by vBulletin® Version 3.7.1 (Deutsch)
Copyright ©2000 - 2018, Jelsoft Enterprises Ltd.