Blindtest Design 1 - Grundlegendes

[Dragonsage]

Allerdings stellt sich auch hier die Frage: Wissen wir das?

Ja, hatte ich an anderer Stelle hier im Forum inkl. Quellenangabe genannt...

Darüber hinaus, wenn man sich nicht nur mit Technik, sondern auch mit Psychoakustik und Wahrnehmung beschäftigt, könnte man das mWn. als Fakt hinnehmen...

Ciao DA

PS. Studio-Pros sind da IMHO die falschen Ansprechpartner, zeigt aber, in welche Richtung man hier denkt...

[UweM]

also ich denke nicht, dass Babak das im Sinn hat und mir ist das auch kein Anliegen.

Hallo Reno,

ich unterstelle Babak die besten Absichten, aber ich war in den vergangenen Jahren selbst massiv an Forenblindtests beteiligt und kenne daher die Bedenken vorher und die die Erklärungsversuche hinterher recht gut.

Letzlich muss man damit Leben, dass die Extrempositionen unvereinbar sind, was man aber verschmerzen könnte, da sie nur von ein, zwei Hand voll an Forenteilnehmern so vehement vertreten werden, dass der Eindruck entsteht es gäbe zwei sauber getrennte, unversöhnliche Großgruppen.

Extrempostionen sind:
a) Es gibt keinen bestandenen Blindtest, also sind Unterschiede gleich Null bzw. lediglich eingebildet.
b) Unterschiede existieren mit absoluter Sicherheit, da es nicht möglich ist, dass man sich getäuscht hat und damit sind die bisherigen Blindtests nicht valide.

Ein berechtigter Einwand Davids ist, dass bei fast jedem Test Teilnehmer vorab im unverblindeten Probedurchgang noch von riesigen Unterschieden gesprochen haben, Minuten später aber kilometerweit danebenschossen.

Das führt zu einem weiteren interessanten Punkt. Testgegenstand ist nie alleine das Kabel oder der CD-Player oder was auch immer sondern immer auch gleichzeitig der jeweilige Grad der Großmäuligkeit der Teilnehmer. Zumindest diesbezüglich kann man sicher sein, dass die bisherigen Blindtests einige "valide Volltreffer" gelandet haben.

Grüße,

Uwe

[David]

Naja, vielleicht macht Babak diesen Test an seiner Anlage. Mir wäre das nur recht und ich helfe auch dabei so gut ich kann.

Allerdings ist das für alle die sich sonst beteiligen, wieder "fremd".

"Vertraut" funktioniert klarer Weise immer nur an der Anlage des Probanden. Das heisst, man müsste mit der Testausrüstung auf Wanderschaft gehen.

Wieder ein Punkt, der die Sache ungemein verkompliziert. Wobei ich dieses Argument durchaus verstehen kann und gelten lasse.

Gruß
David

[Franz]

Testgegenstand ist nie alleine das Kabel oder der CD-Player oder was auch immer sondern immer auch gleichzeitig der jeweilige Grad der Großmäuligkeit der Teilnehmer. Zumindest diesbezüglich kann man sicher sein, dass die bisherigen Blindtests einige "valide Volltreffer" gelandet haben.

Das ist in der Tat richtig.

Gruß
Franz

[Dragonsage]

Extrempostionen sind:
a) Es gibt keinen bestandenen Blindtest, also sind Unterschiede gleich Null bzw. lediglich eingebildet.
b) Unterschiede existieren mit absoluter Sicherheit, da es nicht möglich ist, dass man sich getäuscht hat und damit sind die bisherigen Blindtests nicht valide.

Ich finde es erwähnenswert, dass bis dato kein BT durchgeführt wurde, der den Schluss a) zuließe.

Einer der größten Fehler sind die nicht haltbaren Schlüsse, die aus dem einen oder anderen Test gezogen werden.

Man möge doch bitte nur die Schlüsse ziehen, die die Hypothese zulässt...

Ein berechtigter Einwand Davids ist, dass bei fast jedem Test Teilnehmer vorab im unverblindeten Probedurchgang noch von riesigen Unterschieden gesprochen haben, Minuten später aber kilometerweit danebenschossen.

Ja, dazu gibt es ja auch Erklärungen, die man irgendwann auch mal zur Kenntnis nehmen sollte...

Ciao DA

[Franz]

Das heisst, man müsste mit der Testausrüstung auf Wanderschaft gehen.

Nein. Man müßte sich nur mal auf das Testdesign einlassen bei jemandem, der sowas durchzuführen anbietet. Titain hat das z.B. getan, ich auch schon mehrmals. Und man müßte sich davon verabschieden, einen validen, objektiven und reliablen Blindtest veranstaltet zu haben. So einfach ist das. Wer welche Schlüsse danach zieht, ist rein persönlich. Aber es geht hier dabei immer und ewig um die "Wahrheit". Die könnt ihr damit aber nicht herausfinden. Was ihr machen und gewinnen könnt ist eine Erfahrung. Nicht mehr, nicht weniger.

Jetzt fang ich wieder an hier mitzuschreiben.:J

Gruß
Franz

[Reno Barth]

Es ist völlig egal was man macht, es werden immer wieder Kritikpunkte gefunden,

ja, seit der Aufklärung meint man, dass das der adäquate Weg ist, Wissen zu vermehren. Kant nennt es den "öffentlichen Vernunftgebrauch".

lg
reno

[Dr.Who]

Jetzt fang ich wieder an hier mitzuschreiben.:J

Wer einmal damit anfängt, der macht das immer wieder.:D

[David]

Ich wollte auch nichts mehr zu diesem Thema schreiben.;)

Babak möchte aber Tipps haben. Ich habe nur einen und der lautet: learning by doing. Test wie angedacht durchführen. Danach hat der viel zum Nachdenken und beim nächsten Mal wird er Vieles anders (sicher besser) machen.

Gruß
David

[Scheller]

da bin ich mir leider nicht so sicher, ob das das Problem aus der Welt schafft. Falls die Umschaltbox die Detektionsschwelle für bestimmte Veränderungen nach oben schiebt, mittelt sich ihr Einfluss nicht aus. Leider weiß ich auch nicht, wie man's besser machen könnte.

Na....wenigstens einer hat´s bemerkt. ;)

Die Umschaltbox wird immer ein Kritikpunkt bleiben....Egal wie gut sie gemacht ist. Es soll keiner auf die Idee kommen, die Umschaltbox auf Fehlerfreiheit zu vermessen...Das wäre im Sinne der Kritiker natürlich total naiv.

Natürlich kann man diese Kritik mit den Worten "alles Spinner" übergehen (was auch angebracht wäre), aber "Wasserdicht" wird er dadurch schon alleine "elektrisch" für die Kritiker nicht.

Stress, Ergebnisschuldung
Zeitdruck
zu viele Proben hintereinander
zu kurzes Einhören
ungeeignete Kabel
nicht (aufeinander) eingespielte Geräte
Sammelbegriff: Testdesign schlecht

Diese Punkte sind ebenfalls -praktisch- nicht (oder nur mit unzumutbarem Aufwand) aus der Welt zu schaffen, wenn sich die Kritiker einfach quer stellen.


Und das WERDEN sie....Es geht schliesslich um die Zerstörung ihrer Leidenschaft.

@Hifiaktiv
Es ist bei Endstufen in den meisten ( eher allen!) Fällen ein Pegelabgleich nötig, da viele Endstufen keine Pegelsteller haben.

[Scheller]

Das führt zu einem weiteren interessanten Punkt. Testgegenstand ist nie alleine das Kabel oder der CD-Player oder was auch immer sondern immer auch gleichzeitig der jeweilige Grad der Großmäuligkeit der Teilnehmer. Zumindest diesbezüglich kann man sicher sein, dass die bisherigen Blindtests einige "valide Volltreffer" gelandet haben.

Das sollte man eigentlich als Pflichttext in jeder Signatur einführen.

Ich gebe offen zu, dass dieser "schöne Nebeneffekt" stets mein Antrieb für die vielen "vergeudeten" Stunden in der Werkstatt, auf Autobahnen, und in den teils fiesen Hörräumen der Tester gewesen ist.

[Franz]

Es geht schliesslich um die Zerstörung ihrer Leidenschaft.

So ein Quatsch. Die sind von Blindtests doch gar nicht tangiert. Ich habe bei dir vielmehr den Eindruck, daß du was zerstören willst, nämlich die Möglichkeit einer Kommunikation.

Ich gebe offen zu, dass dieser "schöne Nebeneffekt" stets mein Antrieb für die vielen "vergeudeten" Stunden in der Werkstatt, auf Autobahnen, und in den teils fiesen Hörräumen der Tester gewesen ist.

Na dann, herzliches Beileid.

@ Babak, kannst meine Äußerungen ruhig in den Abstellraum schieben. Aber so ein Schmarren wollte ich nicht so stehen lassen. Der hat doch nicht die geringste Ahnung davon, was Musikliebhaber als Leidenschaft verstehen. Interesse an Blindtests ist es mit Sicherheit nicht.:Q

Gruß
Franz

[pachulke3]

Testgegenstand ist nie alleine das Kabel oder der CD-Player oder was auch immer sondern immer auch gleichzeitig der jeweilige Grad der Großmäuligkeit der Teilnehmer.

Laut

Was der Test NICHT beantworten soll/kann
• Die "Hörleistung" eines Probanden
• Qualitative Unterschiede zwischen den getesteten Geräten (Wärmer, kraftvoller, etc.)
• Unterscheidung "Holzohren" vs. "Goldohren"

soll sein Test anders sein und nicht die "Großmäuligkeit" der Teilnehmer testen. Das steht zwar nur als frommer Wunsch im zweiten Posting und wurde bisher nicht erklärt, aber ...

[Dragonsage]

Kurz und knapp: Das ist Unsinn.

Ein Test mit Menschen, die hören, kann für den den einzelnen Testteilnehmer nur die Frage

"Kann dieser Hörer einen Unterschied hören"

beantworten. Hier gibt es als Ergebnis "JA oder NEIN" (mit einer bestimmten statistischen Relevanz). Hier spielt die "Hörleistung" des Hörers sehr wohl eine Rolle. Als Beispiel seien Artefakte bei lossy compression genannt, die erstens nicht jeder gleich gut hört, und die zweitens in komplizierten Fällen ein geschultes/trainiertes Ohr erfordern.

Fasst man die Ergebnisse mehrerer Tests mit verschiedenen Hörern zusammen, kann man die Frage

"Wieviele Hörer können einen Unterschied hören?"

beantworten.

Für alle Hörer eines Tests kann es neben dem Ergebnis "ALLE oder NIEMAND" auch noch das Ergebnis "X% hören einen Unterschied" (mit einer statistischen Unsicherheit) geben.

Na, nun komme ich dazu, was zu lesen.

Ich denke hier liegt ein grundsätzliches Verständnisproblem vor.

Wenn ich mal mein Verständnis zusammenfassen darf:

Man möchte zeigen, es gibt keine Unterschiede (kann man eh nicht beweisen, aber das ist eine anderen Geschichte).

Die Idee: ich zeige eine Situation, in der statistisch gesichert (was ein großes Problem ist), dass es einen Unterschied gibt.

Ursache dieses Unterschieds soll ein Gerätwechsel oder ein Kabelwechsel oder was auch immer sein. Und ja, natürlich teste ich, ob dieser Mensch das kann.

Ja, das ist in Ordnung, denn ich versuche, eine Situation zu generieren, in der mir das einmal gelingt. Das ist legitim und für einen BT normal. Es geht ja auch nicht darum, ob es irgendwelche technischen Unterschiede gibt, sondern ob ein Mensch einen Unterschied wahrnehmen kann. Das ist wohl das Ziel.

Man beachte aber, wenn ein solcher Test misslingt, dass wir dann genau das Problem haben: dieser Probant nimmt den angestebten Unterschied nicht wahr. Mehr nicht. Das heißt eben nicht, dass es keinen Unterschied gibt, noch daß es niemanden gibt, der diesen Unterschied nicht gezielt wahrnehmen kann.

Dieser Konsequenzen muß man sich bewußt sein.

Anders gesagt, wie oben erwähnt, es gibt keinen BT, die schlüssig auf Nicht-Existenz weißt.

Ciao DA

[Dragonsage]

Noch eine kleine Anmerkung:

Ein BT gibt als Ergebnis auch nur eine Wahrscheinlichkeit, aber keine Wahrheit. Man sollte dazu nicht zuviel erwarten...

Ciao DA