Blindtest Design 2 - Testansatz

[Scheller]

weil gründlich nachgewiesen wurde, dass die ganze Placebokontrolle für den Hugo ist wenn der Arzt weiß, in welcher Schachtel sich das Placebo befindet. Nonverbale Kommunikation ist ziemlich komplex und zum allergrößten Teil unbewusst...

Junge...Junge...Das ist harter Stoff. Wo nimmst du nur diese "Vergleiche" her?
Der Arzt hat zu seinem Patienten ein ganz besonderes Vertrauensverhältnis und da ist direkter Sichtkontakt (direkt in die Augen) möglicherweise (oder sogar bestimmt?) eine wichtige Geste zum Aufbau des Vertrauens. Der Arzt wird vor oder während der Verschreibung eins Medikamentes (oder eben eines Placebos) darüber auch ausgiebige , vertrauliche Gespräche mit dem Patienten durchführen, während der Blickkontakt in diesen Momenten möglicherweise eine wichtige Rolle spielt.

Aber um des Friedens Willen, und damit die Infosammlung zum zukünftigen (?) Hörtest nicht durch derartige Belanglosigkeiten aufgehalten wird, würde ich den Test eben als DBT durchführen, oder aber einen Sichtkontakt, sowie sonstige Kommunikation während der Durchführung unmöglich machen. Das hat sich zwar während meiner letzten Tests nicht als "notwendig" oder gar hilfreich erwiesen, beschleunigt aber das Forankommen in dieser Sache.

Vielleicht werden ja doch noch ein paar Brocken aus dem Fels gelöst?

[Scheller]

Muß ein Probant nur einen oder mehrere Durchgänge machen, sprich steht die Entscheidung Unterschied ja oder nein für den einzelnen Probanten mit der selben Musik nur einmal oder mehrfach an?

Ciao DA

In meinen BT´s MUSS der Proband garnichts oder eben soviel er möchte. Der "Proband" ist alleiniger Herr über die "Programmfernbedienung" (Titelsprung, Titelwiederholung) und die Abhörlautstärke (beides über Fernbedienung) . Des weiteren steuert er völlig ohne Vorgaben die AB oder ABX Fernbedienung.

Wir haben uns im Vorfeld lediglich stets darauf geeinigt, das eine Hörprobe (von je 10) nicht länger als 10 bis 15 Minuten dauern sollte. Immerhin kommt ein Durchgang auf ein bis zwei Stunden, und zwei Durchgänge (a 10 Hörproben) wollten wir pro Abend mindestens machen.Also eine reine Zeitfrage. In der Regel haben sich die Probanden aber etwas früher entschieden. Dabei verhielten sich die Leute ziemlich unterschiedlich. Einige schalteten während eines Stückes immer wieder hin und her, während andere ein gesamtes Stück oder einen Abschnitt 2 oder drei mal wechselweise anhörten. Erfolgreich war man mit keiner Methode.

Die Differenzen, die schlichtweg viel zu klein (bzw. nicht da) waren, konnte man einfach nicht bestimmen.

[David]

Alles was Scheller schreibt, entspricht auch meinen Erfahrungen und ist auch aus meiner Sicht richtig. Daran erkennt man, dass auch er schon einige Blindtests hinter sich hat (als Organisator).

Wie schon geschrieben, wird Babak schon nach dem ersten BT in vielerlei Hinsicht anders denken, ist aber völlig OK so, diese Erfahrungen gehören dazu.

Doppelte Verblindung halte ich auch für unnötig, aber sie schadet auch nicht. Macht zwar alles komplizierter, aber wenn sie dazu dient, dass noch mehr "Gewissheit" entsteht - warum nicht.

An eine bewusste Beeinflussung durch Gesten, Grimassen oder sonstwas möchte ich nicht einmal ansatzweise denken, wer so etwas macht, fliegt bei mir sofort raus.

Gruß
David

[pachulke3]

An eine bewusste Beeinflussung durch Gesten, Grimassen oder sonstwas möchte ich nicht einmal ansatzweise denken, wer so etwas macht, fliegt bei mir sofort raus.

Siehe dazu die Geschichte vom "Klugen Hans" http://de.wikipedia.org/wiki/Kluger_Hans. Von bewusster Beeinflussung ist hier also definitiv nicht die Rede.

[David]

Naja, dann her mit dem klugen Hans zum Blindtest!:D

Der wäre zumindest erfolgreich. Aber wer sieht "dem Kleinen" in die Augen?;)
----------------------------------

Bisher war meist der Proband alleine im Raum (deshalb auch die langen LS-Kabel). Ich werde in Zukunft noch mehr darauf achten.

Gruß
David

[Scheller]

Der wäre zumindest erfolgreich. Aber wer sieht "dem Kleinen" in die Augen?;)

Einfach einen Meter hinter oder setlich versetzt hinter den Probanden Platz nehmen und die nicht selten verlorengegangene Haarpracht der "Probanden" beobachten.

So habe ich es bei meinem letzten Endstufentest vor 4 Wochen gemacht. Gibt es diesbezüglich Einwände, die auf eigenständigem Denken basieren?

[pachulke3]

So habe ich es bei meinem letzten Endstufentest vor 4 Wochen gemacht. Gibt es diesbezüglich Einwände, die auf eigenständigem Denken basieren?

Dein Versuch, die Verwendung vorhandenen und dokumentierten Wissens zu diskreditieren, weil es nicht "eigenständigem Denken" entstammt, ist durchsichtig und dumm. Hier, in diesem Forum, allerdings durchaus wohlgelitten.

[Scheller]

Dein Versuch, die Verwendung vorhandenen und dokumentierten Wissens zu diskreditieren, weil es nicht "eigenständigem Denken" entstammt, ist durchsichtig und dumm. Hier, in diesem Forum, allerdings durchaus wohlgelitten.

Warum entziehst du dich denn einer sachlichen Antwort? Welchen negativen Einfluss hat das Wissen des Durchführenden, wenn er von dem oder den "Probanden" weder in Augenschein genommen, noch gehört werden kann?

Du hast jetzt die Chance, aktiv an der Ausarbeitung teilzunehmen und diverse Punkte zu vereinfachen oder praktisch durchführbare Lösungswege -detailliert- zu beschreiben.. Nimm das doch einfach wahr.

Die doppelte "Verblindung macht entweder eine kleine Zusatzhardware oder die Steuerung über einen PC nötig. Selbst ein C64 könnte dazu in Basic programmiert werden.;)

Das ist also keine schwierige Aufgabe. Dennoch habe ich sie in meinen ersten beiden Umschaltboxen noch nicht eingebaut, da sie m.E. (!) wie erwähnt keinen Einfluss auf das Endergebnis hat.

Ein viel interessantes Thema ist die Umsetzung der sogenannten "Positivkontrollen". Das ist eine Aufgabe, deren Lösung mir mehr als Kopfschmerzen bereitet, sofern diese gezielten Positivkontrollen -etwa- im selben Größenbereich liegen sollen, der später auch im Test zum Tragen kommt.

Da bin ich tatsächlich gespannt wie eine Gitarrensaite kurz vor dem Abriss. Was sich in Foren noch prima philosophisch vor der Tastatur "zurechtspinnen";) lässt, wird in der späteren Umsetzung (nach meiner bisherigen Theorie und Praxis) geradezu utopisch.

[pachulke3]

Welchen negativen Einfluss hat das Wissen des Durchführenden, wenn er von dem oder den "Probanden" weder in Augenschein genommen, noch gehört werden kann?

Wie soll das denn mit "Einfach einen Meter hinter oder setlich versetzt hinter den Probanden" sichergestellt sein?

Doppelblindheit kann durch Technik (Software) in der Umschaltung sichergestellt werden.

Oder durch Umschaltung in einem Nachbarraum. Zur Not eben ein Durchführender, der wirklich weiß, dass der mucksmäuschenstill zu sein hat und hinter einer aufgestellten Wand verschwindet. Was ist daran so schwer? Was ist so schwer daran zu verstehen, dass u.U. kleinste Verhaltensänderungen (Herumrutschen auf dem Stuhl, Rascheln, Was-auch-immer, ...) des wissenden Durchführenden den Probanden beeinflussen können?

Glaubst Du z.B. an die Nummer mit dem "Pokerface" beim Kabel-"Blindtest" des Studiomagazins? Ich nicht.

[Scheller]

Wie soll das denn mit "Einfach einen Meter hinter oder setlich versetzt hinter den Probanden" sichergestellt sein?

Das ist eine Gegenfrage! Ich habe den Verdacht, dass einige Leute davon ausgehen, dass sich die "Probanden" laufend umschauen, um irgendeine Regung meiner Gesichtszüge zu sehen, um daraus irgendwelche Schlüsse zu ziehen, wie ich die Schaltbox gerade eingestellt habe....Naja....
Das ist zwar urkomisch, lässt aber nur den Schluss zu, dass du anscheinend noch an keinem Test teilgenommen hast.

Doppelblindheit kann durch Technik (Software) in der Umschaltung sichergestellt werden.

Zur Nachrüstung brauche ich nur einen Tag. Daran soll es nicht liegen. Ich hätte lediglich Interesse an einer plausiblen Erklärung, warum die von mir bisher verwendete Vorgehensweise das Ergebnis beeinflusst. Dazu müssten sich die Probanden umdrehen....Das tun sie aber nicht.....Ich KÖNNTE es ihnen sogar untersagen, aber das war bisher garnicht nötig.

Achja....in spiegelnden Gegenständen an der Front (AVM , Burmester, Restek) könnte der Proband meinen Gesichtsausdruck erkennen....Wir werden in Zukunft ein Handtuch darüberlegen. :D

Die Problematik ist schliesslich im Detail versteckt.

der wirklich weiß, dass der mucksmäuschenstill zu sein hat und hinter einer aufgestellten Wand verschwindet. Was ist daran so schwer?

Nichts....Denn es ist im Ergebnis das Selbe.
Eine Faltwand habe ich zum nächsten Test auf jeden Fall dabei.;)

Was ist so schwer daran zu verstehen, dass u.U. kleinste Verhaltensänderungen (Herumrutschen auf dem Stuhl, Rascheln, Was-auch-immer, ...) des wissenden Durchführenden den Probanden beeinflussen können?

Ich VERSTEHE ja , dass du jetzt mit Raschelorgien, Stuhlrutschereien und der gleichen mehr argumentieren MUSST.....;), und in diesem Fall würde dann auch die Pappwand sinnlos werden. Immerhin kann das laufende Geraschel, Gequietsche und die laufenden Hustenanfälle meinerseits den Test dann auch durch diese Pappwand stören....Ich lasse sie also doch besser zu Hause. Sie wäre ja sinnlos.:D

OK...Wir halten mal (zum Wohle des Forankommens) fest, dass der Durchführende ebenfalls nichts "wissen" darf, oder den Raum verlassen muss.

Ich schlage mal das nächste Thema vor: Die wichtigen "Positivkontrollen".
Wer hat einen Vorschlag ?

[OpenEnd]

Ein viel interessantes Thema ist die Umsetzung der sogenannten "Positivkontrollen". Das ist eine Aufgabe, deren Lösung mir mehr als Kopfschmerzen bereitet, sofern diese gezielten Positivkontrollen -etwa- im selben Größenbereich liegen sollen, der später auch im Test zum Tragen kommt.

Da man die Größenordnungen nicht kennt, wäre es sinnvoll, erst einmal mit gröberem Raster anzufangen und festzustellen, wie viel der Blindtest leisten kann.

Wenn anschließend der gültige Test ansteht, kann man wenigsten sagen, dass sich die realen Unterschiede wohl unterhalb dessen abspielen, was als Grenze des Blindtestes ermittelt wurde.

Nehmen wir einfach mal an, man könne lediglich eine Senke von 3dB über eine Oktave als Grenze ermitteln, dann hätte es keinen Sinn, feinere Unterschiede mit dem Kurzzeit-Blindtest aufspüren zu wollen.

Geanau das habe ich vor Jahren angeregt.

Muß mich aber hier so langsam ausklinken, da es morgen früh in Urlaub geht. Also keine böse Absicht, wenn ich mich nicht melde. Einfach Urlaub.

Grüße vom Charly

[Scheller]

Da man die Größenordnungen nicht kennt, wäre es sinnvoll, erst einmal mit gröberem Raster anzufangen und festzustellen, wie viel der Blindtest leisten kann.

Ich habe bereits "Hintergedanken", wohin das führen wird. Es wird sich nämlich herausstellen, dass ein Blindtest "erschreckend wenig" leisten kann. Das hängt aber in erster Linie nicht von irgendwelchen "Designs", sondern von der begrenzten Leistungsfähigkeit der Hörer ab.

Schiebt man die schlechten Ergebnisse (wie erwartet) auf den Test, wird letztendlich behauptet werden, dass die dort nicht detektierten Unterschiede zu Hause in gemütlicher Atmosphäre, mit einem Glas Rotwein bewaffnet, sonnenklar gehört werden können.
Man kann sich solche Tests dann gleich sparen. Es sei denn, dass man Wachswalzen gegen CD-Technik testet.

Man ist dann wieder ganz am Anfang.

Wenn anschließend der gültige Test ansteht, kann man wenigsten sagen, dass sich die realen Unterschiede wohl unterhalb dessen abspielen, was als Grenze des Blindtestes ermittelt wurde.

Das wird für die meisten Testobjekte gelten. In diesen Fällen (in denen der Blindtest also
funktioniert, und die Hörer treffsichere Aussagen machen), wird der messtechnische Nachweis übrigens keinerlei Probleme bereiten. Die Differenzen werden dann ein Maß annehmen, das problemlos mit Standardmessgeräten deutlich dargestellt werden kann.

Nehmen wir einfach mal an, man könne lediglich eine Senke von 3dB über eine Oktave als Grenze ermitteln, dann hätte es keinen Sinn, feinere Unterschiede mit dem Kurzzeit-Blindtest aufspüren zu wollen.

Genau. Im Gegenzug behaupte ich aber, dass dieser Hörer auch unter normalen Bedingungen diese Senke nicht mitbekommen würde. Es ist dann (gelinde ausgedrückt) weiterhin nicht ausgeschlossen, dass er stets von seiner Einbildungskraft geleitet wurde, obwohl er das konsequent bestreitet.

[Reno Barth]

An eine bewusste Beeinflussung durch Gesten, Grimassen oder sonstwas möchte ich nicht einmal ansatzweise denken

hab ich auch nicht behauptet...

[OpenEnd]

Hallo Scheller,

da ist er wieder, der große Unterschied zwischen uns.

Ich teste die Fähikeit des Kurzzeit-Blindtestes zur Detektion von objektiv kleinen Unterschieden ab und werde anschließend konstatieren können, dass bei Nichtbestehen eines solchen Blindtestes die objektiven Anteile unterhalb der Nachweisgrenzen des Meßmittels lagen.
Für mich als Ingenieur ist ein solches Vorgehen logisch und entspricht meiner täglichen Arbeit.

Du hast anscheinend andere Ziele, bei deren Erreichung ich dir nicht helfen kann.

Grüße vom Charly

[Scheller]

Ich teste die Fähikeit des Kurzzeit-Blindtestes zur Detektion von objektiv kleinen Unterschieden ab und werde anschließend konstatieren können, dass bei Nichtbestehen eines solchen Blindtestes die objektiven Anteile unterhalb der Nachweisgrenzen des Meßmittels lagen.

Es bleibt aber die Frage, woher du die Information nimmst, ob für ein negatives Ergebnis eines Testes mit "objektiv kleinen Unterschieden" der Test und seine Durchführung , ODER aber das Unvermögen des Hörers (oder der Hörer) die Ursache war, welches ICH ihm ebenso in seinen eigenen vier Wänden unterstellen muss.

Du bezeichnest als "Messmittel" wahrscheinlich das verwendete Testdesign....Ich jedoch den Hörer.