Blindtest Design 1 - Grundlegendes

[Reno Barth]

Es geht schliesslich um die Zerstörung ihrer Leidenschaft.

äh wieso? Transistorverstärker kommen mir nicht ins Haus, CD-Player kann ich nicht leiden und bei den Kabeln wäre es mir sehr viel lieber, wenn man keine Unterschiede hören würde. Ein Leidenschaftsproblem hätte ich, wenn hier jemand behauptet, man hört zwischen Horn und Magnetostaten keinen Unterschied

lg
reno

[Scheller]

äh wieso? Transistorverstärker kommen mir nicht ins Haus, CD-Player kann ich nicht leiden und bei den Kabeln wäre es mir sehr viel lieber, wenn man keine Unterschiede hören würde.

Weil du keine Transistorverstärker ins Haus lässt, keine CD-Player leiden kannst, ABER eben nur ein unbedeutenses kleines Sandkorn in der Menge der Hörer darstellst.
Der Löwenanteil wird Transistorverstärker in ihr Haus lassen, ausschliesslich digitale Zuspieler verwenden, und antike Plattenspieler allenfalls als drehende Plattform für ihre Modellbausätze nutzen.

Und einige davon "meinen" eben, dass sie eine dahergelaufene Pioneer oder Sony Endstufe von ihrer chromblitzenden (aber innen stinknormalen) Burmester 911 , ihrer Bryston, oder ihrer 6000 € Perreaux völlig problemlos unterscheiden können. Viele wollten sogar "lustig" sein, und weigerten sich im Vorfeld hämisch, mit einer derart "musikvergewaltigenden Blechkiste" überhaupt zu hören, da es dem Wohlbefinden nicht zuträglich wäre. :B

Die hilflosen Gesichter und die teils peinlichen Erklärungsversuche waren mir jede Stunde wert. Von "streng Wissenschaftlich" möchte ich selbstverständlich nach so viel Offenheit auch nicht mehr sprechen.

[Franz]

Tolle Anektoden, Scheller. Da könnte ich auch einiges dazu beisteuern, aber genau andersrum. Also, Gesichter von Skeptikern, die mit hängenden Gesichtern dem Vooodoo in´s Angesicht geschaut haben. Was soll der Kram jetzt? Was beweist das? Nix.

Gruß
Franz

[Scheller]

So ein Quatsch. Die sind von Blindtests doch gar nicht tangiert.

Du wirst mich (bewusst?) nicht verstanden haben.

Selbstverständlich interessieren sich die Hardcore Kabelhörer, die CD-Spray-Freunde und die Netzfilter-Freaks nicht die Bohne für Blindtests.

Das ist auch einer der Gründe, warum Newbie-Highender stets im Vorfeld mit Exreremen um sich werfen, und im Nachhinein das Testumfeld torpedieren.

Ein wahres "Goldohr" kauft seine Hifi-Artikel" in den seltensten Fällen aus anderen Beweggründen als dem KLANG.

Und jetzt stell dir mal (völlig utopisch) vor, ein Blindtestdesign würde von einem Goldohr akzeptiert werden....Nur mal rein theoretisch....

Es wäre das Ende seines Hobbies. Zumindest in der bisher geführten Art. Ein Mehrpreis für eine Burmester 911 wäre dann -aus klanglichen Aspekten- nicht mehr sinnvoll.

...Und das schöne Gehäuse hat ein wahres Goldohr doch (angeblich:D) noch nie näher interessiert....Das wird nicht selten als verzichtbare Beigabe bezeichnet.

[Scheller]

Was beweist das? Nix

Bitte glaube mir: Ein Audio-Blindtest wird -egal wie er ausgeführt wird- nie etwas "beweisen" können. Zumindest nicht "allen Gruppierungen"

Und Texte in einem Forum können das erst recht nicht.


Du!...Das wusste ich bereits.

Ich würde nie behaupten, dass Texte alleine etwas beweisen. Sollte es alleine um technische Werte und physikalische Eigenschaften gehen, die man in ausreichender Genauigkeit in Zahlen ausdrücken kann, dann kommt man einem Beweis schon viel näher, sofern man die Ergebnisse (Messwerte) glaubwürdig darstellen kann.

Sobald der Mensch und seine Sinne ins Spiel kommen, ist es mit einem Beweis schnell zu Ende.

[Pepi]

Unterschied

Wenn ich mir das so alles durchlese, komme ich zu den Entschluss, warum ein teurer CDP ala Accu oder McIntosh wenns auch ein billiger ala NAD tut.
Da sind Welten dazwischen, preislich gesehen, und der Unterschied ist dann maginal wie man so schön sagt.
Und da finde ich, dass es egal ist wo ich das höre.
LG Klaus

[Scheller]

Normalerweise "importiere" ich keine Zitate aus anderen Foren, aber in diesem Fall möchte ich mal eine Ausnamhe machen. Sollte das nicht OK sein, bitte den Beitrag löschen.

Das Zitat stammt von "Jakob" und befasst sich mir dem Einbau von Positivkontrollen in den Blindtest. Er schreibt:

Sind diese Positivkontrollen ausreichend empfindlich gewählt, d.h. liegen sie in ähnlicher Größenordnung wie der eigentliche Testgegenstand, kann man erwarten, daß die Unterscheidungsfähigkeit unter Testbedingungen ausreichend groß ist.

Ich möchte hier garnicht erst von Hochpegel-Kabelunterschieden und weiterem "Zirkus" sprechen, sondern bleibe mal völlig bodenständig bei den CD-Spielern und den Endverstärkern, die ja gerne getestet werden....

....und da frage ich mich allen Ernstes, WIE man diese Aufgabe praktisch meistern möchte? Ich bemühe ein Beispiel in dem zwei Endstufen verglichen werden sollen. Eine Kenwood und eine 6 mal so teure Luxusendstufe, die ausserhalb eines Testes als "völlig verschieden" definiert werden.

Ein völlig normales Szenario also.

Ich gehe jetzt davon aus, dass auch wegen der durchaus vergleichbaren, unkritischen elektrischen Parameter, die man an einem herkömmlichen Messplatz messen wird, keine Unterschiede im Blindtest nachgewiesen werden.

Was präsentiere ich dem Testhörer denn in so einem Fall als "Positivkontrolle" , und wie stelle ich die Eignung als Gegenstand zur Positivkontrolle überhaupt fest?

Es geht hier nicht um "messbare" Dinge, die sonnenklar in den Bereich oberhalb der Hörschwellen fallen.....Viele werden da mit Standardmesstechnik oder gar ihrer Soundkarte total im Dunkeln tappen.

Oder sollen bloß "Wachswalzenspieler" gegen moderne Transistorendstufen und CD verglichen werden.;)
Wer kann das einem "Dummi" mal erklären? Wie geht man da vor?

[Babak]

Hallo

Ist ja schwierig, themenbezogene Beiträge im OT-Gewirr herauszufinden. ;)

Um es klar zu sagen, ohne massive Übung wird niemand in der Lage sein, echte vorhandene Unterschiede in dieser Größenordnung 20 mal hintereinander sauber auseinander halten bei kurzzeitigen Wechseln (bei Langzeittests ist das anders!). SO sind wir Menschen nunmal, da kann keiner was dafür!

Wieso muss wer Üben?
Wenn ich einen repräsentativen Querschnitt haben will, dann sind eben auch ungeübte Personen drunter.

Ist ja keine Schande.

Dieses Problem hat man bei einem Präferenztest nicht (dafür andere :-)).

Das sehe ich anders:

Bei einem Präferenztest müssen folgende Phasen durchlaufen werden, bevor der Proband zu seiner Präferenz gelangt:

1. Höre ich einen Unterschied?
2. Worin besteht der Unterschied genau?
3. Kann ich den Unterschied dem Gerät A oder B zuordnen?
4. Welches Gerät gefällt mir besser?

Natürlich läuft das nicht als bewusster innerer Dialog ab, zumindest nicht immer ...

Bei meinem Test gibt es nur folgende Phase:

1. Höre ich einen Unterschied?

Deswegen meine Bitte:
a) Ein Verfahrung zu wählen, was ein Mensch schaffen kann, bzw. der Probant.
b) Das Verfahren an sich zu verifizieren, bevor ich das wirklich anwende.

a) Wir verlangen nichts Unmögliches, nur Hinhören.
b) Klar gibt es Trockenläufe zur Verifizierung

LG

Babak

[Babak]

Hallo

1. Es gibt keinen wasserdichten Blindtest. Den kann es nicht geben, weil niemand bisher ein Testdesign hat, daß wissenschaftlichen Testkriterien nach Validität, Objektivität und Reliabilität erfüllt. Das muß man einfach mal akzeptieren und zur Kenntnis nehmen.

Hier geht es eben darum eben so einen Test aufzustellen, der die Kriterien erfüllt.

2. Man kann ein verblindetes Testdesign erstellen, das aufzeigen kann, was damit unter den gegebenen Testrahmenbedingen erreichbar ist. Weitergehende, allgemeine Schlußfolgerungen sind nicht statthaft, auch wenn einige das schmerzt.

Je, genau darum geht es hier.
Die weiteren Schlussfolgerungen sind neue Hypothesen, die mit weiteren, passenden Tests bestätigt oder widerlegt werden sollten.

3. Tests werden nicht grundsätzlich abgelehnt. Was abgelehnt wird - und das zu Recht - sind unzulässige Schlußfolgerungen daraus.

Das ist bei Dir so.
Viele andere lehnen anscheinend grundsätzlich jeden Test ab, der ein anderes als das erwartete Ergebnis bringen könnte.

Ichh persönlich halte Kurzeit-Blindtests für völlig ungeeignet. Meine eigenen verblindeten Testversuche legen mir nahe, daß nur dann ein Test erfolgreich bestanden werden kann, wenn folgende Voraussetzungen erfüllt sind:

- eigene Anlage mit eigenem Hörmaterial
- Langzeittest
- Präferenztest statt Unterschiedstest
- keine Umschaltung

So, und nun lese ich nur noch weiter mit. Ich wünsche Babak auch viel Glück. Er hat meine Anerkennung, weil er wenigstens wieder mal was versucht. Und seine Absicht sehe ich als lauter an.

Warum sind Kurzzeit-Tests ungeeignet?

Was bei Dem vom Dir präferierten Ansatz und auch bei anderen Langzeit-Tests methodisch offene Lücken aufweist:

• Nachweis der Eignung der Anlage, um Unterschiede aufzudecken.
• Nachweis der Eignung des Musikmaterials, Unterschiede aufzudecken
• Keine Verblindung
• Nur wenige Probanden können teilnehmen
• Die Anzahl der Datenpunkte ist zu gering, um eine statistische Signifikanz aufzuweisen (also fällt der Unterschied schwer: ist es Zufall oder nicht)
• Es gibt keine Negativkontrollen
• Es gibt keine Positivkontrollen
• Es ist fralich, ob der Mensch ein solches akustisches Langzeitgedächtnis hat, um sich an einen vor Tagen oder Wochen zu erinnern.
• Je länger der Zeitraum, desto mehr spielt die Tagesverfassung eine Rolle
• So ein Test nimmt implizit vorweg, dass es einen Unterschied zwischen den Komponenten gibt

Alleine diese methodischen Lücken entfernen das Ergebnis von jeglicher Belastbarkeit.


Somit bleiben die Ergebnisse aus solchen Langzeit-Tests stets sehr subjektiv und individuell.

Sie sind mit keinem anderen Ergebnis vergleichbar und können nicht mal irgendwie auf ein allgemeinere Aussage hindeuten.

Das macht sicher für viele Leute persönlich Sinn, keine Frage.

Doch wir wollen hier etwas herausfinden, dass doch eine gewisse allgemeine Aussage zulässt.



Was ich spannend finde ist, dass bei meinem Testansatz hier sehr kleine Details kritisiert werden.
Gleichzeitig werden bei den geforderten Langzeit-Tests solche methodischen Lücken nicht mal angesprochen, geschweige denn kritisch durchleuchtet.

Interessante Dynamik ...


LG

Babak

[Dragonsage]

Wieso muss wer Üben?

Wie schon zuvor erläutert, es liegt nicht in unserer Natur, diese Art Unterschiede mehrfach hintereinander zu detektieren. Wenn man es trotzdem versucht, ist das Resultat immer: statistisch nicht signifikant.

Daher meine Frage der Durchführung. In bisherigen BTs wurde immer verlangt 9 von 10 oder 16 oder 17 von 20 richtig zuzuordnen. Ungeübt schafft selbst bei gesichert vorhandenen Unterschieden nur wenige. Wie habt Ihr also genau vor?

Das sehe ich anders:

Bei einem Präferenztest müssen folgende Phasen durchlaufen werden, bevor der Proband zu seiner Präferenz gelangt:

1. Höre ich einen Unterschied?
2. Worin besteht der Unterschied genau?
3. Kann ich den Unterschied dem Gerät A oder B zuordnen?
4. Welches Gerät gefällt mir besser?

Natürlich läuft das nicht als bewusster innerer Dialog ab, zumindest nicht immer ...

Bei meinem Test gibt es nur folgende Phase:

1. Höre ich einen Unterschied?

Ich sehe das nicht so, finde aber auch die Betrachtungsweise problematisch. Mach halt mal beide Arten. Ich habe festgestellt, Präferenz fällt mir leichter und ist für mich treffsicherer.

a) Wir verlangen nichts Unmögliches, nur Hinhören.
b) Klar gibt es Trockenläufe zur Verifizierung

zu a: Wie genau wird das hinhören funktionieren? Wie oft? Welche Aussagen muss der Probant treffen? Richtig hinhören ist nicht so trivial, wie es sich anhört.

zu b: Trockenläufe ist keinesfalls das, was ich unter Verifizierung meine.

Ich denke, oder würde sogar fordern, dass zunächst Sichergestellt wird, dass die Vorgehensweise funktioniert. Sprich, es wird ein faktisch vorhandener Unterschied in anzunehmender Größenordnung dargestellt (z.B. über bearbeitete Wave Datei gegen Original) und man prüft, ob der Test bei gesicherten Unterschieden funktioniert. Erst wenn man das weiß, kann man sich daran machen, die Dinge zu prüfen, die einen interessieren.

Das Ganze, wenn es Hand und Fuß haben soll, muß nicht nur Trockenläufe schaffen, sondern es muss zeigen: wenn es Unterschiede gibt in einer bestimmten Größenordnung, dann habe ich bereits gezeigt, dass der Test dies wirklich aufzeigt. Eine Reihe an Kritikpunkten kann man damit auch leicht begegnen.

Ciao DA

[Babak]

Hallo

Anders gesagt, wie oben erwähnt, es gibt keinen BT, die schlüssig auf Nicht-Existenz weißt.

Noch allgemeiner:

Man kann grundsätzlich nicht die Nicht-Existenz einer Tatsache nachweisen.
Egal mit welchem Test.

LG

Babak

[Dragonsage]

• Es ist fralich, ob der Mensch ein solches akustisches Langzeitgedächtnis hat, um sich an einen vor Tagen oder Wochen zu erinnern.
• Je länger der Zeitraum, desto mehr spielt die Tagesverfassung eine Rolle

Ich denke, man muß mal erläutern, wie Langzeittests funktionieren.

Du hörst mit einer Kette einige Zeit (sagen wir mal 1 Woche). Dann wird etwas verändert und Du hörst relativ zeitnah weiter. Auf diese Art speichert Dein Hirn den Klang in der Woche. Wenn Du nun was anderes hörst, ist das für Dich sehr, sehr deutlich. Das ist viel klarer als jede andere Form von Test, IMHO.

Ich weiß, für eine große Menge an Menschen dies durchzuführen, das ist schwierig. Aber so funktioniert das ganz hervorragend.

Du mußt Dich damit beschäftigen, wie der Mensch Informationen speichert. Wir nehmen in kaum 2 Sekunden eine Situation sensorisch wahr, filtern dies ins Kurzzeitgedächtnis. Von dort gelangt dann alles ins Langzeitgedächtnis. Bei der auditiven Wahrnehmung muss man wissen, wir speichern keine Laute oder Töne, sondern Mustern und Strukturen. Die Häufigkeit, wie ich das höre und auch abrufe, ist entscheident, ob die Erinnerung verfügbar (abrufbar) ist oder nur flüchtig.

Nur abrufbare Informationen aus dem Langzeitgedächtnis taugen IMHO für zuverlässigen Aussagen, bzw. als Basis für Vergleiche.

Ciao DA

[Babak]

Hi,

Wie schon zuvor erläutert, es liegt nicht in unserer Natur, diese Art Unterschiede mehrfach hintereinander zu detektieren. Wenn man es trotzdem versucht, ist das Resultat immer: statistisch nicht signifikant.

Daher meine Frage der Durchführung. In bisherigen BTs wurde immer verlangt 9 von 10 oder 16 oder 17 von 20 richtig zuzuordnen. Ungeübt schafft selbst bei gesichert vorhandenen Unterschieden nur wenige. Wie habt Ihr also genau vor?

Es geht nicht um die Leistungsfähigkeit des Menschlichen Gehörs.

Daher gibt es keinen Score, der erreicht werden muss.


Es geht darum zu grundsätzlich sehen, wie häufig Unterschiede erkannt werden.

Je nach dem, ob es nie, selten, manchmal, oft oder immer ist, ergeben sich unterschiedliche Aussagen.

Einen Score vorzugeben, der erreicht werden muss, impliziert ein Ziel, das man erreichen will.
Das ist dann aber kein neutraler Standpunkt.

Ich sehe das nicht so, finde aber auch die Betrachtungsweise problematisch. Mach halt mal beide Arten. Ich habe festgestellt, Präferenz fällt mir leichter und ist für mich treffsicherer.

Wie gesagt:
Ein Präferenztest baut schon auf der Annahme auf, dass die beiden Komponenten unterschiedlich klingen.
Also etwas, das hier erst ermittelt werden soll.

Weiters weiss der Proband, dass zwischen den Komponenten gewechselt wurde, udnd as öffnet der Suggestion Tür und Tor.

Die Kotrollen usw. erwähne ich mal nicht, eine Liste ist ja in einem meiner letzten Beiträge.

Somit stehen solche Test für mich auf wackeligen methodischen Beinen.

zu a: Wie genau wird das hinhören funktionieren? Wie oft? Welche Aussagen muss der Probant treffen? Richtig hinhören ist nicht so trivial, wie es sich anhört.

Dasitzen und Hören.

Jeder Wechsel wird angesagt, danach sagt der Proband, ob er einen Unterschied zu davor bemerkt.
Also Aussage, die er treffen muss: JA (für "ich höre einen Unterschied") oder NEIN (für "ich höre keinen Unterschied)

zu b: Trockenläufe ist keinesfalls das, was ich unter Verifizierung meine.

Ich denke, oder würde sogar fordern, dass zunächst Sichergestellt wird, dass die Vorgehensweise funktioniert. Sprich, es wird ein faktisch vorhandener Unterschied in anzunehmender Größenordnung dargestellt (z.B. über bearbeitete Wave Datei gegen Original) und man prüft, ob der Test bei gesicherten Unterschieden funktioniert. Erst wenn man das weiß, kann man sich daran machen, die Dinge zu prüfen, die einen interessieren.

Das Ganze, wenn es Hand und Fuß haben soll, muß nicht nur Trockenläufe schaffen, sondern es muss zeigen: wenn es Unterschiede gibt in einer bestimmten Größenordnung, dann habe ich bereits gezeigt, dass der Test dies wirklich aufzeigt. Eine Reihe an Kritikpunkten kann man damit auch leicht begegnen.

Was Du beschreibst, ist die Positivkontrolle, die sowohl bei der Validierung des Setups, als auch bei den Testläufen mit den Probanden eingesetzt wird.

LG

Babak

[Babak]

Hallo

Ich denke, man muß mal erläutern, wie Langzeittests funktionieren.

Du hörst mit einer Kette einige Zeit (sagen wir mal 1 Woche). Dann wird etwas verändert und Du hörst relativ zeitnah weiter. Auf diese Art speichert Dein Hirn den Klang in der Woche. Wenn Du nun was anderes hörst, ist das für Dich sehr, sehr deutlich. Das ist viel klarer als jede andere Form von Test, IMHO.

Ich weiß, für eine große Menge an Menschen dies durchzuführen, das ist schwierig. Aber so funktioniert das ganz hervorragend.

Du mußt Dich damit beschäftigen, wie der Mensch Informationen speichert. Wir nehmen in kaum 2 Sekunden eine Situation sensorisch wahr, filtern dies ins Kurzzeitgedächtnis. Von dort gelangt dann alles ins Langzeitgedächtnis. Bei der auditiven Wahrnehmung muss man wissen, wir speichern keine Laute oder Töne, sondern Mustern und Strukturen. Die Häufigkeit, wie ich das höre und auch abrufe, ist entscheident, ob die Erinnerung verfügbar (abrufbar) ist oder nur flüchtig.

Nur abrufbare Informationen aus dem Langzeitgedächtnis taugen IMHO für zuverlässigen Aussagen, bzw. als Basis für Vergleiche.

Die Zuverlässigkeit des akustischen Langzeitgedächtnisses ist umstritten.

Je länger der Test dauert, desto mehr kann Suggestion wirken.

Die Liste an methodischen Lücken werde ich hier nicht wiederholen.
Auf die wird ja nicht eingegangen.


Wie gesagt, das mag für Einzelpersonen eine wertvolle Aussage liefern, doch es fehlt jegliche Vergleichbarkeit.


LG

Babak

[Dragonsage]

So manches ist mit nicht klar, ich hoffe ich nerve nicht, aber

Es geht darum zu grundsätzlich sehen, wie häufig Unterschiede erkannt werden.

Wieviele Durchläufe macht ein Probant? Nur einen?

Einen Score vorzugeben, der erreicht werden muss, impliziert ein Ziel, das man erreichen will.
Das ist dann aber kein neutraler Standpunkt.

Gut, wie unterscheidet sich ein gezielter Treffer von einem geratenem Treffer?

Ein Präferenztest baut schon auf der Annahme auf, dass die beiden Komponenten unterschiedlich klingen.

Nein, man kann auch beide gleich finden. Bei einem Präferenztest wäre allerdings eine interessante Auswertung. Die Ausgangslage bei zwei Komponenten A und B kann ja sein:
A gegen A
A gegen B
B gegen B

Aber lass uns das nicht vertiefen, wenn das generell nicht gewünscht ist...

Was Du beschreibst, ist die Positivkontrolle, die sowohl bei der Validierung des Setups, als auch bei den Testläufen mit den Probanden eingesetzt wird.

Vielleicht habe ich was überlesen, aber wie genau funktioniert die Positivkontrolle. Ich habe nicht den Eindruck, dass wir vom gleichen sprechen, aber ich kann auch gut was überlesen haben...

Ciao DA