Blindtest Design 1 - Grundlegendes

[David]

Eine PN habe ich vorhin so beantwortet (kopiere ich hier hinein, weil ich es wichtig finde:

Danke für den Hinweis, den ich durchaus als "plausibel" betrachte - bzw. gelten lasse.

In Wirklichkeit ist das größte Problem die Art und Weise wie manche Leute (leider sehr viele) bei ihren Beschreibungen übertreiben. Eben die wegfliegenden Vorhänge, die Frau in der Küche die das auch sofort gehört hat oder die Anlage, die plötzlich um ein paar Klassen besser spielt.

Wenn das stimmen würde, dann müsste es immer hörbar sein, auch bei einem Blindtest!

Würde es dagegen heißen: "winzige Unterschiede, die man nicht sofort und immer hört, die mir aber letztlich die Investition wert sind" würde sich Keiner daran stoßen.

LG
David

Wenn also in Zukunft alle derartigen Übertreibungen relativiert werden würden, gäbe es die Grabenkämpfe nicht und auch keine Schubladen mehr.

Leider wird es nie soweit kommen, weil die Medien da nicht mitmachen. Sie brauchen einfach Sensationen. Die HiFi-Schmierblätter sind es, die die ganze Szene versauen. Dazu kommen dann noch die dummen Nachplapperer (auch Händler). Sie alle glauben, dass ihr Krempel nur verkaufbar ist, wenn sie maßlos übertreiben.

Gruß
David
P.S.: Babak, ich werde versuchen zu trennen. Bei manchen Beiträgen ist eine Zuordnung aber schwierig.

[David]

Babak, das mit der gleichen Musik für alle solltest du dir nochmals überlegen. Ich beispielsweise könnte mit Klassik nur schwer testen und mit Hardrock schon gar nicht.

Bei Anderen ist es vielleicht wieder ganz anders.

Gruß
David

[UweM]

Hallo Babak

Alleine das Fehlen einer sauberen Doppelverblindung, von Kontrollen, einer Validierung des Setups oder einer statistischen Auswertung fehlt bei den bisherigen Versuchen, von denen ich weiß.

Doppelt verblindet waren bisher wirklich keine der bekanten Tests. Allerdings ist es fraglich ob es dort nötig gewesen wäre. Die doppelte Verblindung soll ja das "Erkennen aus Versehen" bzw. "versehentliche Verraten" vermeiden. Sie ist also allenfalls dazu geeignet, die Trefferquote weiter zu senken. Da aber bei den Kabeltests bisher keiner bestanden hat, kann man das nicht als Mangel ansehen.
Bei Verstärkertests z.B., wo theoretisch großere Unterschiede denkbar sind, könnte das aber von Bedeutung sein.
Validierung bzw. Auswertung hat doch meines Wissens stattgefunden. Oder verstehst du etwas anderes darunter?

Grüße,

Uwe

[Franz]

Also der Test hier ist nicht nur für einen, sondern auch für andere Interessierte.
Solltest Du nur Beiträge zu dem Ansatz haben, der für Dich ist, bitte ich Dich, diese in einem anderen Thread zu posten als denen für mein Thema.

Babak, mein "Testdesign" kann doch auch von anderen übernommen werden, ist somit also auch für andere Interessierte geeignet. Er eignet sich aber in der Tat nicht für einen Massentest. Ich sehe, du hast sowas in der Art geplant. Da treffen sich also verschiedene Leute in einem Raum in fremder Umgebung und hören mit fremdem Equipment. Richtig? Und daraus soll dann statistisch Aussagen gezogen werden. Richtig? Da finde ich mein Vorgehen, das jeder für sich zu Hause nachahmen kann, viel aussagekräftiger. Muß aber jeder selbst wissen. Ich will keinen Blindtest für alle sondern für eine Einzelperson, der auch für sich hört und nicht abgelenkt wird duch die Umstände, andere Persoen oder durch irgendein Umschaltkästchen.

Aber okay, werde dich jetzt hier in deinem thread nicht weiter ärgern. Mein Versuchsaufbau hat wirklich nichts mit dem zu tun, was du beabsichtigst. Ich wollte nur auf ein paar Dinge damit hinweisen, die ich für unbedingt wichtig erachte, wenn man einen verblindeten Test macht. Mein Fazit dabei: Keep it simple, keep your time.

Gruß
Franz

[David]

Franz, ich sehe das genau so wie du. An der eigenen Anlage und mit viel Zeit wird man bei Vergleichen am besten feine Unterschiede - falls vorhanden - raushören können. Da ist auch ein Langzeittest kein Fehler (ich bräuchte ihn nicht, in spätestens einer Stunde wüsste ich endgültig Bescheid).

Bei den Blindtests, an denen mehrere Personen teilnehmen (als Probanden), wird man eventuell ganz kleine Unterschiede nicht mehr detektieren können. Obwohl - nicht vergessen - die unmittelbare A/B-Umschaltung schon eine gewaltige Hilfe darstellt (sehe ich zumindest so).

Man kann diese Art von Tests mit zwei scheinbar gleichen Bildern vergleichen, bei denen man durch schnelles hin- und herschauen Unterschiede finden soll. Man hat also stets die Möglichkeit, sich ein Bild einzuprägen und blitzschnell mit dem anderen zu vergleichen.

Gibt es tatsächlich Unterschiede, so wird man sie auch finden. Wenn nicht, so sind sie entweder nicht vorhanden oder so winzig, dass sie unter die Wahrnehmungsschwelle fallen.

Ist doch ganz einfach - oder? So ein Test ist alles andere als falsch!

Wirklich falsch sind Vergleiche, die man an unterschiedlichen Orten und unter unterschiedlichen Umständen macht. So wie es leider dauernd gemacht wird (bei Messen, bei diversen Händlern, bei Forenfeten). Jede Meinung die man sich da bildet und jede Aussage die man dazu von Anderen hört ist mehr als bedenklich! Ich gebe darauf absolut Null! Auch auf meine eigenen Eindrücke nicht, wenn ich dazu keine mir bekannte Referenz habe. Beispielsweise habe ich die Geithain RL901 in München gehört. Hat stinklangweilig geklungen. Hätte ich daneben eine B&W 800D zum Vergleich gehabt (nur als Beispiel, weil ich die gut kenne), wäre es mir möglich gewesen, davon abzuleiten.

Man braucht also immer einen direkten Vergleich und den hat man auch bei den Blindtests die wir machen.

Was Babak vor hat, ist der Versuch, mittels (hoffentlich) ausgeklügelter Probenentnahme noch mehr aus einem Kurzzeitblindtest herauszuholen als sonst. Keine Ahnung ob das geht, aber möglich wäre es.

Mir reichen meine "puristisch" durchgeführten Blindtests absolut. Was dabei rauskommt, ist für mich weitgehend Fakt - zumindest einmal im Zusammenhang mit den Geräten die verwendet wurden und das sind in den meisten Fällen bekannte, gute und bewährte Produkte. Dass es irgendwelche Exoten gibt, die so sehr aus der Reihe tanzen, dass man sie im Blindtest heraushört, ist schon klar (siehe auch Röhrenverstärker), aber sie sind nicht der Maßstab, denn sie spielen in den meisten Fällen "falsch", auch wenn es besser gefällt.

Gruß
David

[Franz]

David, was beim Kurzzeit-Blindtest nicht sicher erkannt werden kann, kann in einem Langzeittest durchaus möglicherweise erkannt werden. Du unter- bzw. überschätzt die Arbeitsweise eines menschlichen Gehirns. Will hier aber jetzt keine neurologische Diskussion anzetteln, ist einfach Fakt. Kann man mal zur Kenntnis nehmen oder auch nicht. Ist mir mittlerweile egal. In Foren haben solche threads eh eine Eigendynamik. Da kann man argumentieren, wie man will. Es wird nur das anerkannt, was einem in den Kram paßt.

Es geht mir auch weniger um Unterschiede, die man an irgendetwas festmacht. Im Langzeittest geht es mir eher darum, herauszufinden, ob ich mit dem Testgegenstand zufriedener hören kann als ohne ihn. Also ein Präferenztest. Wenn es mir gelingt, am Ende eines Durchgangs sicher sagen zu können: Jetzt hat dieses oder jenes Teil mit gespielt, dann reicht mir das völlig. Dieses Procedere wiederholöe ich dann, wenn ich wieder Lust darauf habe. So kann man langfristig Sicherheit gewinnen bzw. bemerken, daß ich eben nicht sicher bin. Eine andere Bestätigung brauch ich dann nicht weiter. Mir geht´s wirklich nur darum, für mich einen schon vorhandenen Eindruck zu festigen. Diese krampfhafte Suche nach irgendwas führt in die Irre. So hört übrigens kein Mensch, wenn er möglichst entspannt Musik hört. Und dieses entspannte Musikhören für sich in gewohnter Umgebung mit bekanntem Musikmaterial an bekannter Akustik sollte möglichst nachgebildet werden. Sonst funktioniert gar nichts und man tappt im Dunkeln und rät, je länger so ein Test dauert. Das ist nur allzu menschlich.

Gruß
Franz

[Dragonsage]

David, was beim Kurzzeit-Blindtest nicht sicher erkannt werden kann, kann in einem Langzeittest durchaus möglicherweise erkannt werden. Du unter- bzw. überschätzt die Arbeitsweise eines menschlichen Gehirns. Will hier aber jetzt keine neurologische Diskussion anzetteln, ist einfach Fakt.

Richtig. Was Du beschreibst, ist in einschlägiger Literatur zur akustischen Wahrnehmung mehrfach beschrieben. Je nach Probant zeigt sich bei einer Übereinstimmung von 74-95% eine Gleichheit bei Wiederholungen.

Hier sehe ich das große Problem, nämlich die Anforderung, die an den BT gestellt wird, doch bitte 9 von 10 oder 16 oder 17 von 20 Male einen Unterschied zu detektieren.

Und das zeigen wohl auch die Ergebnisse, man schafft das nicht.

Beim Langzeithören prägt sich die Struktur der Klangs fest ins Langzeitgedächtnis ein und dann ist es ein leichtes, das auch dem Langzeitgedächtnis abzurufen und mit den aktuellen Eindrücken zu vergleichen. Gerade das können wir wiederrum sehr gut.

Daher fäält es einem 'normalen' Menschen leichter, diese Unterschiede durch Langzeittests sicher zu detektieren.

Leider sind Langzeittests von der Durchführung logistisch viel aufwendiger...

Ciao DA

[Franz]

Beim Langzeithören prägt sich die Struktur der Klangs fest ins Langzeitgedächtnis ein und dann ist es ein leichtes, das auch dem Langzeitgedächtnis abzurufen und mit den aktuellen Eindrücken zu vergleichen. Gerade das können wir wiederrum sehr gut.

Ja, Ich habe z.B. jahrelang mit dem TMR-Ramses an meiner Anlage gehört. Diesen Klangeindruck habe ich mir sozusagen abgespeichert. Das geht. Ich weiß, wie bekannte Scheiben damit bei mir klingen. Als ich das Vovox textura dann benutzte, fielen mir auch recht schnell gewisse Änderungen auf. Nur sind sie nicht so dramatisch groß, als daß ich sie bei einer Umschaltung ganz sicher auch hintereinander detektieren könnte. Höre ich aber einmal damit, dann merke ich ziemlich sicher, ob das Vovox nun daran beteiligt ist oder das Ramses. Wären beide Kabel nun neu, wäre eine Unterscheidung aber viel schwieriger, weil ich keine Langzeiteindrücke abgespeichert hätte. Eigentlich müßte das einleuchtend sein. Aber glaubt ja eh niemand. Macht auch nix. Ich weiß jedenfalls für mich Bescheid.

Gruß
Franz

[KSTR]

Aber glaubt ja eh niemand.

Doch:D: Bei meinen Stereogefrickel, in sehr subtiler Beimengung, komme ich z.B. auch an den Punkt, wo ich in einem recht zügigen Szenario "hör ich einen Unterschied bei Umschaltung" eher durchfalle, egal wie relaxed und zu Hause, also beste Bedingungen.... jedoch, höre ich eine ganze CD oder einen ganzen Abend durch (ohne zu wissen ob ich das Original höre oder nicht), und bewerte danach den Grad wie es mir subjektiv gefallen hat, dann habe eine erstaunliche Korrelation gebildet, über Wochen. Ist halt ein Lernprozess mit Feedback, sprich ich "lerne" welche Version mir besser gefällt im Schnitt, um man "hört sich ein", auf Markantes. Was aber für einen Test, nur einen Unterschied zu erkennen, ja egal sei. Es wird halt dabei pro Ziehung im Versuch verblindet, nicht über den ganzen Versuch. Was dann auch etwas leicht anderes abtestet, folglich.

Fazit: Eigentlich müsste man für einen Test mit maximaler Empfindlichkeit alle Teilnehmer erst ihren "Detektions-Sweetspot" in jeder Hinsicht der Hör-/Testbedingungen finden lassen (ausgedehntes in situ Hörtraining, u.A.), also mitnichten gleiche Bedingungen für alle wählen (weil diese suboptimal sind).

Grüße, Klaus

[David]

Soll von mir aus alles so sein, ich mache keine Langzeittests. Ihr schon, also glaube euch einmal (im Zweifelsfall für den Angeklagten - ;)).

Fehlt nur noch die Erklärung dazu, warum unverblindet alles so schnell und so einfach geht. Ich weiß, dazu gibt es auch Theorien, aber die erscheinen mir alles andere als plausibel. Ist aber mein Problem, auch klar.

Gruß
David

[Franz]

Danke, Klaus. Du hast offensichtlich vieles sehr richtig verstanden.

Fazit: Eigentlich müsste man für einen Test mit maximaler Empfindlichkeit alle Teilnehmer erst ihren "Detektions-Sweetspot" in jeder Hinsicht der Hör-/Testbedingungen finden lassen (ausgedehntes in situ Hörtraining, u.A.), also mitnichten gleiche Bedingungen für alle wählen (weil diese suboptimal sind).

Na endlich einer, der´s checkt.:M

Gruß
Franz

[Dragonsage]

Ich greife niemanden an und du bist der einzige, wirklich der einzige (!) der sich angegriffen fühlt.

Ich empfinde solche Äußerungen wie "Ist der Zustand des nicht-überlegen-seins denn so schwer zu ertragen?" schon als schwierig, hier steckt für mich eine Menge an Unterstellungen / Bewertungen dahinter. Du bringst in dieser Form andauernd Wertungen ein und Wertungen sind unterschwellige Angriffe. Nicht jeder, der das Wahrnimmt, wird das auch so offen schreiben.

Das ist schade, denn gerade zeitliche Abläufe sind bei Tests von ganz erheblicher Bedeutung.... deine Verweigerung ....

Sehe ich auch so, ich sehe aber auch, dass es hier sehr individuelle Grenzwerte gibt, die von Faktoren abhängen, die ich von Dir nicht kenne. Daher kann ich keine Aussage dazu treffen. Dass ich diese Angabe nicht mache, hat also weder mit Dir noch mit meiner Unbill zu tun, es ist schlicht so auf diese Distanz nicht möglich.

Wenn die Fahrlehrer sich raushalten oder nicht verständlich genug formulieren, wird sich daran schwerlich etwas ändern.

Gleiches, wenn der Schüler nicht hören will.

Ciao DA

[KSTR]

Fehlt nur noch die Erklärung dazu, warum unverblindet alles so schnell und so einfach geht.

Das ist ja eine andere Baustelle, David. Im Moment sind wir schon noch bei Blindtests, wie auch immer en detail man diese Verblindung und die sonstige Stringenz der Testbedingungen auslegen will (und was sich auf das Testziel wesentlich auswirken kann). Unverblindet und zwei Bier später höre ich auch alles mögliche vom blauen Himmel :S

Grüße, Klaus

[David]

Klaus, die momentane Verfassung, bzw. die Tagesverfassung an sich - das sind sicher wichtige Faktoren, die unvergleichlich mehr an Unterschieden ausmachen als alles Andere.

Deshalb bin ich nicht so sehr der Freund von Langzeittests, obwohl man auf diese Art natürlich gut mittelt.

Für mich reicht es völlig, wenn ich mich mit einer Sache ausgiebig beschäftige. Dazu können 10 Minuten reichen, von mir aus eine Stunde, oder im Extremfall auch ein ganzer Abend.
Die Dauer meiner Tests richtet sich danach, wie sicher/unsicher ich mir bin einen Unterschied zu hören. Ich gebe aber zu, dass ich dabei sehr pragmatisch denke. Würde ich beispielsweise auf Cinchkabeln andere Stecker löten und danach keinen Unterschied hören (die es für mich auch gar nicht geben kann), käme ich nicht auf die Idee, dazu endlos lange Hörtests zu machen, denn das ist vergeudete Zeit.

@Scheller hat vorhin etwas ganz wichtiges erwähnt, das ich aus meiner Zeit als Servicetechniker nur mit allem Nachdruck bestätigen kann: sehr viele HiFi-Enthusiasten wissen gar nicht, in welch' miesem Zustand sich so manches Teil in ihrer Anlage befindet, so schlimm, dass es schon ganz deutlich messbar ist, aber es fällt ihnen gar nicht auf.

An erster Stelle sind es immer wieder diese verdammten Ausgangsrelais (ich hasse diese Dinger!), die nicht selten bereits ein paar Ohm Übergangswiderstand haben, aber trotzdem unerkannt "ihren Dienst" tun. Die Leute kommen erst dann zur Reparatur, wenn es komplette Aussetzer gibt, denn die hören sie dann - nona.

Aber Lautsprecherkabel testen - jawoll!
Lautsprecherkabel hat (ich sage mal irgendwas) 0,05 Ohm, Relais davor hat nicht selten einen Übergangswiderstand von 5 Ohm. Das entspricht (nur auf den Widerstand bezogen) einem 100 Mal (!) so langen Kabel. Oder einem mit fast unsichtbarem Querschnitt.

Auch so ein Punkt, warum ich in dieser Szene seit jeher kaum noch etwas ernst nehme. Und dann wird mir laufend erklärt, was der Mensch so alles hören kann, auch Dinge die nicht oder kaum messbar sind. Sorry, aber da lachen wieder einmal die Hühner.:D

Gruß
David

[UweM]

Hier sehe ich das große Problem, nämlich die Anforderung, die an den BT gestellt wird, doch bitte 9 von 10 oder 16 oder 17 von 20 Male einen Unterschied zu detektieren.

Und das zeigen wohl auch die Ergebnisse, man schafft das nicht.

Hallo DA,

doch, das geht durchaus, wenn die Unterschiede groß genug sind. Bei Kabeln sind sie es nun mal nicht. Ich persönlich habe das mal bei CD-Playern geschafft (war sauschwer).

Ich habe den Eindruck, dass Babak nicht ganz klar ist, welche Größenordnungen hier Diskussionsgegenstand sind. Zu Anfang des Threads wurde ihm von anderen bereits geraten, Kabel o.ä. außen vor zu lassen, weil hier im Blindtest keine Resultate zu erzielen seien. Ich befürchte, dass hier sehr viel Energie investiert wird um am Ende nur die Resultate früherer Tests zu wiederholen.
Ich persönlich denke, dass man die "Empfindlichkeit" der Tests für Nuancen nur auf der Zeitebene verbessern kann. Hier bin ich mit dir und Franz also durchaus auf einer Linie.

Bewusst mit Blindtests auf Nuancen loszugehen halte ich nicht für besonders sinnvoll. Die früheren Tests haben letztlich nur stattgefunden, weil eben abgestritten wurde, dass die Unterschiede winzig, vernachlässigbar oder gar nicht vorhanden seien. Die Tests haben zumindest dazu geführt, dass heute vorsichtiger und realistischer formuliert wird, das empfinde ich als Fortschritt.

Grüße,

Uwe