Blindtest Design 2 - Testansatz

[Babak]

Hallo weiter gehts mit dem nächsten Kapitel.

Vieles wird eh schon diskutiert


Testansatz

Da der Höreindruck des Menschen sehr subjektiv ist und auch von verschiedenen Faktoren beeinflusst werden kann, gilt es eine Reihe von Punkte zu beachten, um eine belastbare Datenbasis für eine statistische Auswertung zu erhalten.

Umschalteinheit mit Pegelanpassung
Eine Umschalteinheit hat den Vorteil, dass die Wechsel zwischen den beiden zu vergleichenden Komponenten immer gleich ablaufen (zeitlich, akustisch, nicht sichtbar für den Probanden).

Weiters ist bekannt, dass alleine leichte Unterschiede im Pegel auch als klangliche Unterschiede wahrgenommen werden.
Daher ist eine Pegelanpassung der beiden Komponenten unumgänglich.

Ein und dasselbe Setting

Sinnvollerweise sollte sich beim Test nur ein Faktor ändern:
Die zu testenden Komponenten.

Daher ist es notwendig, die folgenden Faktoren gleich zu lassen:
• Hörraum
• Sitzposition
• Abhörkette
• Soundfiles
• Testablauf
• Auswertung
Wird zusätzlich zur Komponente einer dieser Faktoren getauscht, so kann ein gehörter Unterschied nicht eindeutig auf die Komponente zurückgeführt werden.

Doppelte Verblindung
Die folgenden Faktoren können die Wahrnehmung der Probanden beeinflussen

Wissen, was gerade spielt


Wenn ein Wechsel gesehen wird, kann es vorkommen, dass auch ein Unterschied im Klang erwartet wird.Diese Erwartung kann widerum zu einer unterschiedlichen Wahrnehmung führen.
Somit würde allein die optische Information eines Wechsels einen klanglichen Unterschied suggerieren.

Verhalten der durchführenden Personen
Die Personen, die an der Durchführung beteiligt sind und wissen, welche Komponente gerade spielt, können unbewusst Hinweise geben, was gerade spielt.
Das kann durch Gestik, Mimik oder den Tonfall geschehen.

Aus diesen Gründen wird der Test doppelt verblindet durchgeführt.
Weder der Proband, noch jene Person, die direkten Kontakt mit dem Probanden hat (Protokollführer), wissen, welche Komponente gerade spielt.
Jene Personen, die den Wechsel zwischen den Komponenten schalten, haben keinerlei Kontakt zum Probanden, weder akustisch, noch optisch oder physisch.



Kontrolliert
Um die Aussagen der Probanden besser in Relation mit dem Gehörten setzen zu können und um den Anteil falsch positiver bzw. falsch negativer Bestimmungen abschätzen zu können, sind Kontrollen notwendig.

Positivkontrolle

Hier wird statt einem Wechsel zwischen den Komponenten ein Soundfile abgespielt, bei dem der Klang manipuliert worden ist.
Das dient der Kontrolle, ob das Setup korrekt funktioniert, um auszuschließen, dass es nicht am fehlerhaft funktionierenden Setup liegt, wenn keine Unterschiede gehört werden (Ausschluss von falsch Negativen).

Negativkontrolle
Hier wird nicht zwischen den Komponenten gewechselt, sondern es spielt die selbe Komponente noch einmal, also wird ein Wechsel nur vorgegaukelt.
Werden dennoch oft Unterschiede wahrgenommen, zeigt das, wie viele falsch positive Beurteilungen abgegeben worden sind.
Gründe dafür können sein: Suggestion, Raten, etc.


Kurzzeittest

Der jeweilige Höreindruck einer Person kann von vielen Faktoren beeinflusst werden. z.B.:
• Gemütszustand
• Stresslevel
• Emotionaler Zustand
• Gesundheitllicher Zustand

Um dieselben (oder möglichst ähnliche) Bedingungen für möglichst viele Vergleiche und Wechsel zu haben, sollten die Vergleiche in einem eng begrenzten Zeitraum stattfinden, z.B. innerhalb einer Stunde und unmittelbar hintereinander.

Die kurzen Wechsel sollen weiter einen bestehenden Unterschied deutlicher hervorheben.

Da es sich um eine einfache JA/NEIN Entscheidung handelt, benötigt man keine längeren Testläufe. Es sollen keine wahrgenommene Unterschiede charakterisiert werden.

Langzeittests bergen die hohe Wahrscheinlichkeit, dass sich der subjektive Zustand des Probanden beim Hören der Komponente A von seinem Zustand beim Hören von Komponente B unterscheidet und sich ein wahrgenommener Klangunterschied nicht mehr ausschließlich auf Unterschiede der Komponenten zurückführen lässt.

Langzeittests würden sich eher für eine qualitative Beurteilung eines Unterschieds eignen, bei dem die Unterschiede charakterisiert werden.



Bitte in diesem Thread themenbezogen diskutieren!

Danke
LG

Babak

[Reno Barth]

Hier wird statt einem Wechsel zwischen den Komponenten ein Soundfile abgespielt, bei dem der Klang manipuliert worden ist.

weißt du schon, wie du das technisch machen willst? würde mich für ein anderes Projekt interessieren. Im Übrigen finde ich das Konzept gut. Stell mich auch gerne als Proband zur Verfügung...

lg
reno

[Babak]

Hallo

erst mal freut mich Deine Rückmeldung.

Wie die Positivkontrolle genau aussehen soll/kann, müsste noch definiert werden.
Da gibt es ein paar Ideen und Inputs von anderen, aber dazu kommen wir noch.

Hättest Die Ansätze dafür?

LG

Babak

[Dirk]

SORRY....


Frei nach "IKea"

Hörst du schon oder testest du noch.:F:

Oder, Homo sapiens idaltu aus Äthiopien, ca. 160.000 Jahre alt - (Blindtest) ca. 40 Jahre alt.
Keine Ahnung wie nur die Menschen nur ohne BT auskommen konnten beim Hören und Empfinden.

Gruß, Dirk

[BarFly]

Hallo
Wie die Positivkontrolle genau aussehen soll/kann, müsste noch definiert werden.
Da gibt es ein paar Ideen und Inputs von anderen, aber dazu kommen wir noch.
Hättest Die Ansätze dafür?
LG
Babak

Positivkontrolle

Hier wird statt einem Wechsel zwischen den Komponenten ein Soundfile abgespielt, bei dem der Klang manipuliert worden ist.
Das dient der Kontrolle, ob das Setup korrekt funktioniert, um auszuschließen, dass es nicht am fehlerhaft funktionierenden Setup liegt, wenn keine Unterschiede gehört werden (Ausschluss von falsch Negativen).

Vielleicht zusätzlich noch mit einem der Röhrenverstärker die beim letzten Test ziemlich zuverlässig rausgehört wurden, als Hardware Positivtest?

[David]

Vielleicht zusätzlich noch mit einem der Röhrenverstärker die beim letzten Test ziemlich zuverlässig rausgehört wurden, als Hardware Positivtest?

Halte ich für eine gute Idee.:I

Gruß
David

[Babak]

Hallo Dirk

SORRY....


Frei nach "IKea"

Hörst du schon oder testest du noch.:F:

Oder, Homo sapiens idaltu aus Äthiopien, ca. 160.000 Jahre alt - (Blindtest) ca. 40 Jahre alt.
Keine Ahnung wie nur die Menschen nur ohne BT auskommen konnten beim Hören und Empfinden.

Gruß, Dirk

In wie weit hilft uns das bei der Verbesserung des Ansatzes weiter?

LG

Babak

[Dragonsage]

Ich hatte schon an andere Stelle gefragt, aber möglicherweise die Antwort überlesen, daher nochmal:

Muß ein Probant nur einen oder mehrere Durchgänge machen, sprich steht die Entscheidung Unterschied ja oder nein für den einzelnen Probanten mit der selben Musik nur einmal oder mehrfach an?

Ciao DA

[UweM]

Hallo DA,

da eine statistische Auswertung erfolgen soll, gehe ich davon aus, dass eine noch unbestimmte Anzahl x von Durchgängen beabsichtigt ist.

Es macht wenig Sinn, mit einem Riesenaufwand eine neue Testprozedur aufzusetzen, wenn man nur einen einzigen Durchgang macht und dadurch durch bloßes Raten schon eine Trefferwahrscheinlichkeit von 50% erreicht.

Grüße,

Uwe

[Dragonsage]

da eine statistische Auswertung erfolgen soll, gehe ich davon aus, dass eine noch unbestimmte Anzahl x von Durchgängen beabsichtigt ist.

Nunja, wenn dem so wäre, ist das Ergebnis schon heute klar. Man sollte sich die Zeit dann sparen...

Ciao DA

[Scheller]

Doppelte Verblindung

halte ich für "nicht zwingend notwendig". Das Argument, der Tester könnte mit seinem "Wissen" den Tester bewusst oder unbewusst beeinflusen, kann ich auch mit viel gutem Willen nicht bestätigen. Praktische Tests haben das eigentlich auch bestätigt.

Wissen, was gerade spielt


?? Der Tester? ....nö.


Verhalten der durchführenden Personen
Die Personen, die an der Durchführung beteiligt sind und wissen, welche Komponente gerade spielt, können unbewusst Hinweise geben, was gerade spielt.
Das kann durch Gestik, Mimik oder den Tonfall geschehen


Kann ich nicht bestätigen. Es ist hichtmal notwendig, das die durchführende Person spricht oder eine Bewegung macht. Der Tester sagt mir, wann er sich entschieden hat und macht seine Notizen. Nachdem er das Programm stoppt, bittet er mich um den nächsten Durchgang. Ich sitze wie eine Puppe im Raum . Es fühlte sich dadurch bisher keiner gestört und niemandhatte bisher erwähnt, dass er (indirekt) Informationen von mir bekommen hätte.


Kontrolliert

??


Positivkontrolle

Hier wird statt einem Wechsel zwischen den Komponenten ein Soundfile abgespielt, bei dem der Klang manipuliert worden ist.
Das dient der Kontrolle, ob das Setup korrekt funktioniert, um auszuschließen, dass es nicht am fehlerhaft funktionierenden Setup liegt, wenn keine Unterschiede gehört werden (Ausschluss von falsch Negativen).

Nehmen wir mal ein ganz "normales" Setup, wie es z.B. eine "normale" Stereoanlage der besseren Sorte (um 10 bis 20.000 €) in einem normal bedämpften Wohnzimmer darstellt.

In derartigen Situationen MUSS man die Soundfiles in einem MAß manipulieren, wie es kein normaler Endverstärker und kein CD-Spieler (und erst LANGE....LANGE usw...usw) kein Kabel oder Zubehörartikel zu erreichen vermag.
Man muss also schon sehr tief und heftig in die Trickkiste greifen und Klirr nahe dem Prozentbereich einspielen, extreme Pegeländerungen , mitunter breitbandig von bis zu einem dB, oder sonstige Schweiereien einfügen, damit selbst etwas geschultere Ohren davon wirklich(!) etwas mitbekommen.

Das wirst du später noch selbst feststellen. Es ist in der Tat erschreckend....Ich kann ja auch nix dafür.






Negativkontrolle
Hier wird nicht zwischen den Komponenten gewechselt, sondern es spielt die selbe Komponente noch einmal, also wird ein Wechsel nur vorgegaukelt.
Werden dennoch oft Unterschiede wahrgenommen, zeigt das, wie viele falsch positive Beurteilungen abgegeben worden sind.

Davon wird es haufenweise geben


Kurzzeittest

Der jeweilige Höreindruck einer Person kann von vielen Faktoren beeinflusst werden. z.B.:
• Gemütszustand
• Stresslevel
• Emotionaler Zustand
• Gesundheitllicher Zustand


Daher mache ich meine Tests nurnoch bei den Leuten vor Ort, damit sie in ihrer bekannten Umgebung testen können. Alles andere ist nicht akzeptabel und würde IM NACHHINEIN torpediert werden.

Der Tester kann mir vorher nur versichern, dass er sich gut fühlt und gesund ist....Ich muss ihm das glauben.


Bitte in diesem Thread themenbezogen diskutieren!

Soweit möglich...gerne.

[Scheller]

Vielleicht zusätzlich noch mit einem der Röhrenverstärker die beim letzten Test ziemlich zuverlässig rausgehört wurden, als Hardware Positivtest?

Je nach Modell und angeschlossener Last bis 4 % THD, mitunter heftigste IM und schöne TIM- Verzerrungen ,sowie Abweichungen im Frequenzgang von mitunter 2 dB .

Endlich mal Geräte, die man auch mit einer preiswerten Soundkarte oder Geräten aus der Hameg 8000 Modulserie vermessen kann UND trotzdem richtig was zu sehen bekommt. Das freut den Techniker.

Vielleicht brummt er (wie so oft) auch noch ein Bisschen....Dann sollte es klappen.:B


Das ist sicher eine Positivkontrolle....Gar keine Frage. Ein Gerät etwas leiser drehen (vielleicht 2,5 dB)
wäre natürlich auch eine. . Es ist aber KEINE Positivkontrolle im Bereich der Grössenordnungen der normalerweise zu testenden Gegenstände....

Also DEN Gegenständen, die eine kontrovers geführte Klang-Diskussion in der Vergangenheit erst entstehen liessen.

[Reno Barth]

Doppelte Verblindung

halte ich für "nicht zwingend notwendig". Das Argument, der Tester könnte mit seinem "Wissen" den Tester bewusst oder unbewusst beeinflusen, kann ich auch mit viel gutem Willen nicht bestätigen. Praktische Tests haben das eigentlich auch bestätigt.

sorry, aber wenn das so wäre, dann wäre der audioblindtest der einzige blindtest bei dem doppelverblindung nicht erforderlich ist.

lg
reno

[Scheller]

sorry, aber wenn das so wäre, dann wäre der audioblindtest der einzige blindtest bei dem doppelverblindung nicht erforderlich ist.

Es stellt sich doch erstmal garnicht die Frage, ob diese "Bedingung" irgendwo in einer Bibel niedergeschrieben wurde, sondern ob sie sinnvoll oder gar zwingend nötig erscheint.

Es kann selbstverständlich nicht schaden, wenn der "Durchführende" nicht weiss, was da gerade spielt. Es muss aber noch lange keinen störenden Einfluss haben. In meinem letzten Test saß ich sogar im Hörraum HINTER den beiden Testhörern und hätte ohne deren Wissen somit jede nur erdenkliche Grimasse schneiden können.....Ich tat es aber nicht.

Was ich für viel wichtiger halte ist eine absolute "Funkstille" während der Tests.
Einigen "meiner" bisherigen Tester fiel das -zumindest während der ersten Durchgänge- deutlich schwerer als mir.

Ich halte es demnach für absolut ausreichend, wenn die Testhörer keinen direkten Sichtkontakt zum Tester haben, und Ruhe bewahrt wird.
Selbst mit Sichtkontakt (ein paar Meter neben den Testern) hatten weder ich noch die Testhörer den Eindruck, dass der Testverlauf dadurch irgendwie beeinflusst würde.

In wie fern sollte das auch geschehen.....Grimmassen schneiden? Mit den Armen rudern? Übersprungshandlungen wie "Räuspern, Augenzwinkern, Husten, weinen" ??

Überlege doch mal SELBER, welchen Stellenwert dieser Einwand überhaupt hat, und lasse irgendwelche "Diktate" aussen vor.

Wie sehen deine (eure) Erfahrungen mit dieser scheinbaren "Bedingung" in der Praxis aus? Habt "ihr" damit in der Vergangenheit Probleme gehabt?
Haben sich die (eure) Tester dadurch irgendwie beeinflusst gefühlt? Man kann sie ja in der Erprobungsphase einfach mal danach fragen.


Diese Bedingung liesse sich mit einfachen Mitteln implementieren, würde dem Test aber in der Praxis keinerlei Verbesserung bescheren.

Andere "Bedingungen" , die hier permanent gefordert werden, sind in sinnvoller Art und Weise aber absolut nicht umsetzbar.....quasi "unmöglich", was aber kaum jemand bemerkt (oder einsieht).

Bevor man theoretisch über extreme "Feinschliffe" philosophiert (was in Foren an der Tagesordnung ist) , sollte man vielleicht mit dem groben Vorschlaghammer ein paar brauchbare Brocken aus dem Fels gekloppt haben.....Das vermisse ich bisher.

[Reno Barth]

In wie fern sollte das auch geschehen.....Grimmassen schneiden? Mit den Armen rudern? Übersprungshandlungen wie "Räuspern, Augenzwinkern, Husten, weinen" ??

keine Ahnung. In medizinischen Studien ist doppelblind jedenfalls Standard, weil gründlich nachgewiesen wurde, dass die ganze Placebokontrolle für den Hugo ist wenn der Arzt weiß, in welcher Schachtel sich das Placebo befindet. Nonverbale Kommunikation ist ziemlich komplex und zum allergrößten Teil unbewusst...

lg
reno