Blindtestdesign - damit man endlich mal was hört

[Babak]

Hallo,

Original von awehring
Zur Zielrichtung der Untersuchungen:

Am liebsten wäre mir, wenn man herausfinden kann, woher die Diskrepanz zwischen gehörten Unterschieden in "normalen" Tests und nicht hörbaren Unterschieden im Blindtest kommen. Wenn man dazu Indizien sammeln und Erkenntnisse gewinnen kann, sind wir einen Schritt weiter. Klar werden die Anfangs noch umstritten sein, aber dann kann man diese in weiteren Untersuchungen klären

Genau.

Für mich wäre es am saubersten, das in 2 Schritten zu zeigen:[list=1][*]Gibt es überhaupt einen Unterschied? Ja/nein[*]Wenn ja? Was sind sie, und woher kommen sie?[/list=1]

Daher würde ich als nächstes mal Punkt 1 testen, danach Punkt 2, wenn anwendbar.

Original von Dezibel
Aufgrund der allseits bekannten Tatsache dass sich 'moderne' Gerätschaften in ihren Wiedergabeeigenschaften sehr ähnlich sind und somit während eines BT's in akustisch fremder Umgebung bzw. Testanordnung innerhalb kurzer Zeit schwer zu differenzieren sind, sollten die Teilnehmer zumindest die Möglichkeit haben die zum Test herangezogenen Musikstücke oder Signale 'auswendig zu lernen'. D.h. wochenlang immer wieder zu Hause hören und absolut genau einprägen. Auch wenn ein BT in einer locker freundschaftlichen Atmosphäre stattfindet entsteht unter Konzentration ein gewisser Druck. Fremde Umgebung, neue Bekanntschaften, neue (akustische) Eindrücke, relativ wenig Zeit, evtl. auch eine gewisse Hilflosigkeit bis hin zur Resignation. Ist schon viel was da plötzlich auf einen einwirkt. Ob das menschliche Gehirn unter solchen Umständen überhaupt in der Lage ist, sprichwörtlich 'das Gras wachsen' zu hören ? Ich meine dazu gehört langes intensives Training. Da hilft sicher schon mal entlastend wenn man weiß 'was gespielt wird'. In diesem Fall sollte man vorher sogar abstimmen mit welchen Musikstücken getestet werden soll - es mag ja nicht jeder alles. Ich z.B. kann mich alleine zu Hause mit Sicherheit auf das wesentliche konzentrieren, in die Musik förmlich hineinkriechen. In einer fremden Umgebung kann ich mich nicht richtig gegen fremde Einflüsse abkanzeln.

Ich bin mir nicht sicher, ob das einen Mehrwert für die Frage "gibt es einen Unterschied" bringt.
Wir sollten nicht versuchen, mit EINEM Blindtest mehrere Fragestellungen zu erwischen.

Wenn sich der Klang ändert, so ändert er sich egal, ob man das Stück kennt oder nicht.
Wer weiss, womit der Proband vergleicht: wirklich A mit B, oder A bzw. B mit dem, wie er glaubt, sich an den Klang daheim zu erinnern (Wie wir wissen, gibt es kein akustischen Gedächtnis in dem Detail).

Mehrmaliges intensives Hören davor kann daher einen zusätzlichen subjektiven Faktor einbringen, der das Ergebnis verfälscht.

Das wäre vielleicht in einem weiteren BT interessant, in dem folgende Frage beantortet wird:
Kann man das Gehör trainieren?
Vergleich also zwischen Leuten, die die Stücke 2 Wochen vorm Test bekommen und sich einhören können, und anderen, die die Stücke nicht kennen.

Ein spannendes Thema
Aber in meinen Augen sollte es getrennt behandelt werden.



Wichtig sind zusätzliche Durchläufe mir Positivkontrolle und Negativkontrolle.

Positivkontrolle:
Die Beiden Geräte spielen das selbe Stücke, bei dem eines (z.B. in Gerät A) deutlich klanglich verändert wurde.
Also wie David schrieb:

Original von Hifiaktiv
Nehmt eine originale CD mit und eine mit gleichem Inhalt, aber mit (bestimmten!) Klangveränderung(en).

Da sollte das Ergebnis von diesem Durchlauf 100% richtig sein, wann A spielt, und wann B.

Negativkontrolle:
Evtl. 2 Durchläufe: Einmal nur A (mit Ansage "Wechsel", nur wird immer A geschaltet), und einmal immer nur B.
Allein diese Negativkontrolle wird interessant.;)

Somit gäbe es 4 Durchäufe:

• Positivkontrolle
• Negativkontrolle A
• Negativkontrolle B
• Wechsel A-B

Wichtig hier:

• jede hat eine andere Schaltsequenz (aber bei jedem Probanden gleich)
• Die Ablauf, wann welche Kontrolle läuft muss bestimmt werden, z.B. erst Negativ A, dann Positiv, dann Vergleich A-B, dann Negativ B, oder auch anders ;))
• Diese Reihenfolge ist weder dem Probanden, noch dem Protokollführer bekannt
• derjenige, der umschaltet, befindet sich optimalerweise auch in einem anderen Raum
• schaffen wir es, im Hörraum ein Lamperl aufzustellen, das bei jedem Wechsel leuchtet, sodass die Stimme der person, die umschaltet ncihts suggerieren kann?

Bei 10 Proben (je 5x A und 5x B), und den 5 verschiedenen Sounds (Rosa Rauschen, Klassik (+Stimme), Akustischer Jazz oder Folk was auch immer (+ Stimme), Rock, Elektronik) macht das 400 Datenpunkte pro Proband.
Das ist statistisch mehr als ausreichend, dauert (mit Wechsel der CD's) knappe 35 Minuten pro Proband.
10 Probanden: 6 Stunden.

Original von Hifiaktiv
her mit allen Leuten und mit allen Geräten die uns weiterbringen. Überlegt was wir besser machen können und bringt Geräte mit, die mit ziemlicher Sicherheit klanglich aus der Reihe tanzen.

Ich habe einen 13 Jahre alten NAD 502 CD-Spieler. Passt der da rein?

LG

Babak

[Babak]

Original von Harry
Ich frage mich, was am letzten BT-Design eigentlich unzureichend gewesen sein soll :Y

Man konnte:

mit eigener Musik,
gewünschter Lautstärke,
nach einer Einhörphase,
mit einer tollen Umshaltbox und
professioneller Einpegelung
die Gerätschfaften blind vergleichen.

Was ist daran unzureichend?

[list=1][*]Die Soundamples waren zwischen den Probanden nicht vergleichbar, da unterschiedliche Musik[*]Die Schaltsequenz war bei jedem Probanden anders[*]Der Proband hat selber geschaltet, weiss also, wann es einen Wechsel zwischen 2 Geräten gab[*]Es gab keine Positivkontrolle[*]Es gab keine Negativkontrolle[/list=1]

die Punkte

• gewünschte Lautstärke
• Einhörphase (wenn mit anderer Musik als für den Test)
• eine tolle Umshaltbox
• professionelle Einpegelung
• Gerätschaften verblindet

waren sehr gut.


LG

Babak

EDIT: Ergänzungen und diese Tippfehler...

[Harry]

Punkt 1 halte ich für nicht relevant. Ein Unterschied muss bei Jazz genau so vorhanden sein wie bei Pop, Klassik,....

2. Es gab 20 Versuche, bei jedem. Bei einem LebensmittelBT kostet der eine 2x, der andere 6x bis er eine Bewertung schreibt. Kein methodischer Nachteil.

3. Man hat geschaltet um die Vorgabe der Box die im Nebenzimmer stand, mit dem 2. Gerät zu vergleichen. Was anlag wusste ja keiner, eben blind.

4 u. 5 müsstest du näher erläutern

[Babak]

Hallo

Original von Dezibel
Ich suche 'live' Anhaltspunkte finde aber keine weil ich das Stück evtl. nicht oder wenig kenne, frage mich ist das A oder B, soll ich jetzt umschalten, oder hat jemand schon umgeschaltet, sind im Hintergrund störende Gräusche, spricht gar jemand leise, war das jetzt falsch oder richtig, schaut mir jemand zu, wie oft war das jetzt richtig, ist das die richtige Lautstärke, es klingt überhaupt alles anders, hat das alles einen Sinn ....

verständliche Punkte.

Daher

• Wahl der passenden Lautstärke mit einem Stück, das man kennt
• das hilft auch gleich zum Einhören (Wahrnehmung der Eigenheiten der Testanlage und der Raumakustik)
• Niemand soll im Hintergrund sprechen (ist ja ein Hör-Labor ;))
• Zuschauen tut niemand, es gibt nur einen, der umschaltet, und einen, der mitschreibt, und die sind beide nett ;)
• Man schaltet nicht selber, es wird geschaltet und angesagt (Kommando "Wechsel!")
• wie oft richtig ist irrelevant, da es kein Richtig oder Falsch gibt. Wir wollen ja erst wissen, was wirklich ist.

LG

Babak

[Babak]

Hallo

Original von Harry
Punkt 1 halte ich für nicht relevant. Ein Unterschied muss bei Jazz genau so vorhanden sein wie bei Pop, Klassik,....

2. Es gab 20 Versuche, bei jedem. Bei einem LebensmittelBT kostet der eine 2x, der andere 6x bis er eine Bewertung schreibt. Kein methodischer Nachteil.

3. Man hat geschaltet um die Vorgabe der Box die im Nebenzimmer stand, mit dem 2. Gerät zu vergleichen. Was anlag wusste ja keiner, eben blind.

4 u. 5 müsstest du näher erläutern

Bei Punkt 1 und 2 widersprichst Du Dich.

Wenn es egal ist, welche Musik gespielt wird, wäre es bei LebensmittelBT's (sagen wir mal Joghurts) egal, ob Joghurt aus Milch von der Molkerei A oder von der Molkerei B verwendet wurde, Hauptsache in der gleichen Anlage mit den gleichen Bakterien nach dem gleichen Prozess verarbeitet).

Wenn, dann sollte die gesamte Kette gleich sein, sonst vergleichen wir zwar keine Äpfel mit Birnen, aber Granny Smith mit Gloucester ;)

Lebensmittel-BT's kann man nicht so 1:1 vergleichen, da die Fragestellung eine andere ist.

Bei uns geh es um die Frage: gibt es einen Unterschied oder nicht?

Bei Lebenmittel-BT's geht es meist um die Frage: schmeckt A besser oder B?
Und nicht um die Frage, ob es überhaupt einen Unterschied gibt.
Daher auch die andere Vorgehensweise und der andere Testaufbau.


ad 3.
Man hat aber gewusst, da man selber geschaltet hat, dass jetzt ein Wechsel von A auf B oder von B auf A stattfand.

Bei meinem Vorschlag weiss man nur, dass etwas gewechselt wurde.
Ob A-B, B-A, A-A oder B-B weiss der Proband nicht, auch nicht der Protokollführer, der als einziger im Raum mit dem Probanden sitzen sollte.


Positivtest:
Es muss gezeigt werden, dass ein Unterschied vom System auch wiedergegeben wird, die Schaltung funktioniert etc.

Negativtest:
In der Pharmazie ist das der Placebo.
Etwas ohne Wirkung wird dem Probanden gegeben. Interessanter weise kann es bei Medikamenten Effekte bei bis zu 30% der Probanden geben!

Damit zeigt man, ob der Effekt durch das Mittel (bei uns der Unterschied zwischen den Geräten) signifikant größer ist als dieser Placebo, oder ob er in der gleichen Größenordnung liegt.

Quasi der Abstand Signal zu Rauschen. Signal ist der Unterschied, Rauschen der Placebo-Effekt.


LG

Babak

[alex8529]

Erstmal wirklich Respekt für die Mühe

ABER

wenn ich mir so die Kopfstände anschaue, die gemacht werden müssen, um diese klitzekleinen Klangunterschiede zu erkennen,

welchen Wert hätte es denn für die Praxis bzw. Kaufentscheidung ??

[Babak]

Hallo

Original von alex8529
welchen Wert hätte es denn für die Praxis bzw. Kaufentscheidung ??

Wie die Ergebnisse aus dem BT verwendet erden, steht auf einem ganz anderem Blatt.. ;)

Aber wir wollen ja wissen, ob die Unterschiede wirklich kitzeklein sind, riesengroß oder gar nicht vorhanden.

LG

Babak

[awehring]

Original von Babak
Hallo

Original von alex8529
welchen Wert hätte es denn für die Praxis bzw. Kaufentscheidung ??

Wie die Ergebnisse aus dem BT verwendet erden, steht auf einem ganz anderem Blatt.. ;)

LG

Babak

Ja, sehe ich auch so. Vorerst steht der Erkenntnisgewinn im Vordergrund.

Gruss

awehring

[Dezibel]

Worüber ich hier noch nichts gelesen habe:
Worauf genau wird während des BT's geachtet ? Mit welchen beschreibbaren Eindrücken sollten sich Wiedergabeunterschiede zwischen zwei Probanden definieren ? Suchen alle Testteilnehmer nach denselben Mustern ? Ich nenne absichtlich keine Beispiele da ich noch nie an einem BT teilgenommen habe. Ich bin mir auch nicht sicher ob ich ein geeigneter Kandidat wäre. Nach dem Motto, wochenlang gebüffelt, alles gewusst - und bei der Prüfung, 'setzen ... fünf'.

Grüße, dB

[Babak]

Hallo

Original von Dezibel
Worüber ich hier noch nichts gelesen habe:
Worauf genau wird während des BT's geachtet ? Mit welchen beschreibbaren Eindrücken sollten sich Wiedergabeunterschiede zwischen zwei Probanden definieren ? Suchen alle Testteilnehmer nach denselben Mustern ? Ich nenne absichtlich keine Beispiele da ich noch nie an einem BT teilgenommen habe. Ich bin mir auch nicht sicher ob ich ein geeigneter Kandidat wäre. Nach dem Motto, wochenlang gebüffelt, alles gewusst - und bei der Prüfung, 'setzen ... fünf'.

Grüße, dB

Erst mal geht es beim BT um die Frage, ob es überhaupt einen Unterschied gibt, egal, wie der sich anhört, also eine reine JA/NEIN Antwort.

Ablauf wäre wie folgt:

• Start Blindtest, beginnend mit Gerät A
• Dann, alle 5sec Wechsel, der signalisiert wird (am besten ein Lämpchen, oder die Person, die umschaltet ruft "Wechsel!")
• Proband sagt, welches Gerät er zu hören glaubt:
  Wenn er einen Unterschied nach dem Wechsel hört, logischerweise das anderer Gerät als das letzte, wenn er keinen Unterschied hört, bleibt es eben beim zuletzt gehörten. (wie gesagt: Sequenz beginnt immer mit A)
  Beispiel: Sequenz beginnt mit A, dann kommt Kommando "Wechsel!". Hört der Proband beim zweiten Teilstück einen Unterschied hört, sagt er logischer weise "B", hört er keinen Unterschied, meldet er "immer noch A".
• Das ganze wird mitprotokolliert, welcher Abschnitt welchem Gerät zugeordnet worden ist.
• Das wird verglichen mit der tatsächlich abgelaufenen Abfolge
• Die Anzahl der richtigen Treffer wird statistisch ausgewertet.

Es ist egal, welchen Unterschied der Proband hört. Es ist nur wichtig zu sagen, ob er einen Wechsel bemerkt hat oder keinen.

Welcher Unterschied aufgetreten ist, wie der charakterisiert werden kann, wäre im Fokus weiterer Tests, wenn sich herausstellt, dass die Unterschiede mit statistisch signifikantem Ergebnis korrekt erkannt worden sind.

Und der Proband selber wird nicht bewertet, Ergebnisse werden der Allgemeinheit nur anonymisiert mitgeteilt. jeder kann natürlich sein persönliches Ergebnis erfahren.

Also keine Eins, keine Fünf, nur ein herzliches Dankeschön :M

LG

Babak

[David]

Babak, beim nächsten Mal musst du einfach dabei sein. Und @dB auch.

Gruß
David

[Babak]

Hallo David,

sehr gerne, :H

ich würde auch vorher die Testpläne erstellen und auch zu dem "Labor" kommen, damit wir die das Ganze möglichst gut vorbereiten können.

LG

Babak

[Dezibel]

@ David,

wenn's zeitlich bei mir ausgeht, nehme ich die Einladung gerne an.
Vielleicht kann ich zwei D/A-Wandler zum Vergleich mitbringen .... nein, nein, fängt nicht mit 'P' an ;) - aber andererseits irgendwie doch: PS Audio DL III und was älteres, so 10 Jahre alt aber bei immer noch in Betrieb, Musical Fidelity X-DAC 'das Schweinderl'. Auf den DL III warte ich derzeit noch ....

Grüße, dB

[Babak]

Hallo,

mir ist da nochwas durch den Kopf geschossen, bezüglich des Ablaufs.

Anstatt "A" oder "B" zu sagen, kann man es den Probanden einfacher machen, in dem sie einfach "ja" oder "nein" sagen, je nach dem, ob ein Unterschied hörbar ist oder nicht.

Da muss sich keiner merken, was nun gerade dran war (mich könnte das schon massiv stressen ;)).

LG

Babak