Wissenschaftliche Vorraussetzungen für einen Blindtest

[visir]

Original von Lia
Ich hatte schon vor längerem mal angeregt bei solchen Tests Proben einzustreuen, deren Klangeinfluss nicht umstritten, aber natürlich im eher kleinen Bereich ist, quasi als Empfindlichkeitsmessung oder Kontrolle
Zugegeben, der Aufwand würde steigen, möglicherweise aber auch die Aussagekraft...

Hatten wir, hatten wir:
Philips gegen Cambridge/ Alesis. Geradezu ein Karneval an Unterschiedlichkeit in der Anwendung, daher Unterschiede zu erwarten, aber dann de facto kein prinzipieller Unterschied im Klang (so wie bei Röhre/ Transistor). Der Philips spielt um's Kennen unsauberer und mit etwas "weicheren" Höhen. Im Blindtest gerade noch erkannt, wobei ich ständig das Gefühl hatte, ich rate. Noch knapper gehts nicht.

lg, Wolfgang

[Lia]

Hallo Wolfgang
Nein, sowas meinte ich nicht. Gilt für mich, nach den ganzen Diskussionen auch nicht als gänzlich unumstritten ;)

Eher ein bearbeitetes Audiofile, bzw eine Einstellung per EQ/Effektgerät.
Mal ein Beispiel
Diese 2 files hier http://www.pcabx.com/technical/low_p...60_lo22Khz.wav
und

http://www.pcabx.com/technical/low_pass/castanets-060_lo12KHz.wav

sind für mich im ABX am heimischen PC in Ruhe unproblematisch zu 100% unterscheidbar.
(Auch ohne Einhören ;))
Nun ist die Software sehr komfortabel, die Sampels sehr kurz und die Umgebung stimmt für mich

Wenn man bei einem Test mit zb 20/30 Durchläufen ab und an ein ähnlich bearbeitetes Pröbchen (natürlich mit der selben Musik ;)) einwirft, dann sollten wenigstens diese erkannt werden, egal ob es Unterschiede zwischen den Testgegenständen gibt oder nicht(Und beim momentanen Stand wird ja von Manchem davon ausgegangen, dass es zb bei Sony vs Emitter keine relevanten Unterschiede über der Wahrnehmungsschwelle gibt), denn das da ein Unterschied zu hören ist wird wohl sicher keiner anzweifeln...zumindest dann, wenn die Testumstände die Wahrnehmung nicht beeinflussen
Zugegeben, es ist etwas aufwändiger ähnliche Files aus dem für einen Test ausgewählten Titeln zu erstellen

War nur so eine Idee
Bei einer anderen Diskussion wurde sie schon abgelehnt, da sie den Test unnötig verkomplizieren und die Testpersonen beträchtlich verwirren würde...eingeleuchtet hatte mir das aber nicht wirklich...

Gruss
Lia

[visir]

Hallo Lia!

Prinzipiell gebe ich Dir recht, nur: wie groß oder klein soll der Unterschied sein, damit der Test dadurch valider wird? Wenn Unterschiede zu leicht erkannt werden, hat es keinen Wert (wir haben ja Unterschiede bei bestimmten Kombinationen gehört - nämlich gerade welche im Frequenzgang), wenn sie nicht gehört werden, könnten die Unterschiede unter der Wahrnehmungsschwelle liegen, und wenn sie gerade noch gehört werden, dann wurden sie so "gewählt", damit sie die Gültigkeit des Tests bestätigen. Kann also immer daneben liegen.
Und außerdem wird das den "Unterschiedhörern" wohl viel zu technisch sein, das hat ja mit Musik hören nichts zu tun.

Verkomplizierung oder Verwirrung befürchte ich nicht.

Wir hatten halt gerade solche Effekte, wie sie durch Manipulation erzeugt werden könnten, sowieso im Test. Was würden solche Audiodateien zusätzlich bringen?
Gut, es würde dann was bringen, wenn wir gar keine Unterschiede gehört hätten.

Bzw. würde eine Reihe unterschiedlich manipulierter Dateien was bringen, um die Schwelle herauszufinden, wo wir einen Unterschied hören.
Und das für jede mögliche Art von Unterschied.
Und dann hat das immer noch nichts mit Musik hören zu tun...

:C

lg, Wolfgang

[HiFi_Addicted]

Bei eimem Ton hat sich der Philips klar verraten. Elektronische Tiefbässe mag er nicht. Ansonsten ist es aber kaum möglich gewesen die beiden Kombinationen auseinander zu halten. Bei höheren Pegeln (105db Peak) wie ich sie fahre und auch die Leistung der PA Endstufe brauche währen vermutlich die Unterschiede grösser ausgefallen. Bei den Pegeln die ich fahre hätte der David aber vermutlich Angst um seine Boxen gehabt. Ich hab ja auch schon mal einen Hochtöner ohne Clipping ins Nirvana geschickt :L Dafür hab ich Dave Grohl im Magen gespürt :D

D/A Wandler bzw CD Player sind in der Sicht bei extrem laut gemastertem Material mit reichlich Intersample Clipping sehr leicht auseinanderzuhalten.

IMHO werden die Klangunterschiede erst im Grenzbereich wirklich deutlich wobei der Verstärkern wesentlich weniger oft erreicht wird als bei den D/A Wandlern der CD Player die mit neunen CDs eingentlich fast immer bis 0dbFS (führt nach Rekonstruktionsfilter zu Clipping) Augesteuert bei Durchschnittswerten um -10db RMS und -4,9db RMS Peak (My Chemical Romance - Welcome To The Black Parade)

MfG Christoph

[visir]

Original von HiFi_Addicted
Bei eimem Ton hat sich der Philips klar verraten.

Ja, Du hast das schon einmal erwähnt, mir ist dieser Ton aber nicht aufgefallen, jetzt habe ich mich an den anderen Kriterien orientieren müssen - die auch Du zuerst gehört hast (beim Einhören).

lg, Wolfgang

[Lia]

Hallo Wolfgang

ME gäben diese Abwandlung etwas mehr Auskunft über die Empfindlichkeit des Tests/des Testaufbaus/der Testperson im Test
Sinnvoll natürlich nur dann, wenn die Fehlerrate zu hoch ist, denn erst dann stellt sich ja die Frage an was es lag

Zu der Grösse, deshalb habe ich ja den Verweis zu den Files auf PCABX.com gemacht, bei der nächsten Schwierigkeitsstufe hatte ich Fehler, das würde bei mir also keinen Sinn machen, diese (harder) fand ich aber noch (ohne längere Beschäftigung) unproplematisch zu erkennen,was die 100% Zuordnung ja auch bestätigte. (die Kategorie easy fänd ich dann deutlich zu leicht)
Mit der passenden Software kann man ja vorher die erstellten Files testen, sie müssen ja eh dem individuell gewählten Musikmaterial entsprechen (die nimmt ja alles, nicht nur die Beispiele auf der Seite, die Länge ist auch nicht begrenzt ) Da geht natürlich streng genommen nur noch ein Einzeltest.

Und mit normalem Musikhören hat ein Blindtest, nicht mal ein schneller unverblindeter meines Erachtens eh nie etwas zu tun ;)
Das lässt sich wohl ohnehin nicht so ohne weiteres abschalten

Ob es jetzt die Unterschiedshörer sind, die einen solchen Test ablehnen würden (was macht es für einen Unterschied - gelten doch auch so schon als Realitätsverleugner) habe ich noch nicht rausgekriegt, denn die Kritik kam ja vorher schon immer von denen, die den BT als einzig geeignetes Entscheidungswerkzeug propagieren ...

Achso
Natürlich kann (und sollte) man auch einen solchen Test nicht als unantastbar sehen. Fehlerquellen, an die man nicht gedacht hat, gibt es mE immer genug..und es bleibt ein Hobbytest, so oder so ;)

Gruss
Lia

[visir]

Hallo Lia!

(irgendwie erinnert mich Dein Nick immer an "Looja", die ich aus einem anderen Forum kenne...)

Original von Lia
Natürlich kann (und sollte) man auch einen solchen Test nicht als unantastbar sehen. Fehlerquellen, an die man nicht gedacht hat, gibt es mE immer genug..und es bleibt ein Hobbytest, so oder so ;)

Und wenn der Test noch so wissenschaftlich durchgeführt wird, wird er angezweifelt werden. Das haben doch manche "Hörer" schon anklingen lassen, dass man mit "Naturwissenschaft" gar nicht erfassen kann, was sie hören.

Ich halte die Tests, von denen so in den Foren berichtet wird (nklusive wiener Verstärkertest), durchaus für aussagekräftig. Natürlich muss man sich gut überlegen, welche Aussage sie treffen. Interpretation ist immer das allerschwierigste.

Die Kabeltest sagen ja nicht "Kabelklang gibt es nicht", sondern "Kabelklang konnte bisher nicht nachgewiesen werden, und zumindest viel davon ist Autosuggestion"
Der Verstärkertest sagt ja nicht "alle Transistoren-V klingen gleich", sondern "es gibt billige und teure Transis, die unter haushaltsüblichen Bedingungen nicht unterscheidbar sind".

Das sind ja durchaus verwertbare Aussagen, wenn sie auch nicht total universell sind. "All-Aussagen" wären ja auch nicht möglich, weil sie ja prinzipiell unwissenschaftlich sind (jedenfalls in der Naturwissenschaft).
Und angesichts der Testgestaltung halte ich die genannten Aussagen schon für gültig. Ein Test wird ja nicht dann erst gültig, wenn einer im weißen Manterl rumläuft und das Ganze in einem "Labor" stattfindet. Und naturwissenschaftlich Gebildete und Fachleute waren in Wien ja dabei...

lg, Wolfgang

[David]

Ich wüsste nach wie vor nicht, was wir hätten besser machen können, außer die Art der Umschaltung (ich möchte gerne selbst umschalten) und die Art des Testablaufs (ich möchte gerne so lange hin- und herschalten, bis ich glaube, A oder B erkannt zu haben).

Das alles würde aber nichts an der Tatsache ändern, dass es zwischen den Transistorverstärkern ganz, ganz schwer wird, Unterschiede zu erkennen.

Umgekehrt würde es bewirken, dass man zwischen den Röhren- und den Transistorverstärkern 1000 aus 1000 schafft. :D

Für all' das bräuchte man aber nicht einmal Blindtests, mit meiner einfachen Messmethode (der von mir dazu eröffnete Thread und meine Messungen dazu hat wieder einmal nicht interessiert), ist man schon ganz knapp an der Wahrheit dran. Fragt sich dann nur noch, wo die Hörbarkeit beginnt.

Gruß
David

[jakob]

@ kobe,

Und? Was passiert bei 64%? Oder bei 70%? Was passiert überhaupt bei einem p>50% (was man sinnvollerweise annehmen sollte)? Der Effekt, den ich vorgerechnet habe, tritt ja überall ein, oder?

Was passiert ist, daß die Wahrscheinlichkeit für Beta-Fehler deutlich ansteigt.
Du hast einen Effekt vorgerechnet, dessen Prämisse eben nicht stimmen muß.
Es hängt einfach davon ab, wonach man sucht; ist es ein spezifisches Testgruppenmitglied, daß vielleicht etwas gehört hat, oder möchte man ein Ergebnis für die gesamte Gruppe haben?

Deswegen das Beispiel mit 4 Testpersonen, von denen 3 eine Erkennungswahrscheinlichkeit von p=0.5 haben, während der 4 Teilnehmer z.B. p=0.64 haben könnte.
Was nützt es da, daß die Beta-Fehler-Wahrscheinlichkeit extrem niedrig wäre, sofern wir unterstellen, daß alle p=0.89 aufwiesen?

Und was ist mit den alternativen Tests? Warum bekam man beim Münchner Kabeltest denn bei einem RUN-Test raus, dass die Reihenfolge zufällig ist? Warum kommt bei einem Chi-Quadrat-Test raus, dass die Eregbisse Binomialverteilt mit p=0,5 sind? Warum findet man einfach keine Anhaltspunkte?

Es ist keine Überraschung, daß für eine Gruppe von Testpersonen, die unter diesen Bedingungen durch einen Test geschleust wird, daß Ergebnis so ausfällt wie beschrieben. Da der Münchner Kabeltest auch von vornherein als Gruppentest angelegt war, habe ich auch keine Einwände.
Du hast einen RUN-Test mit den Münchner Ergebnissen gemacht, und bei keinem Einzelnen ist die Annahme der Zufälligkeit erschüttert?
Finde ich ein bißchen überraschend, denn nmE waren doch ein oder zwei Teilnehmer relativ nah an der Überschreitung der Signifikanzschwelle.

Deswegen erscheint mir der Ansatz, über Training die Erkennungswahrscheinlichkeit der Testperson (sofern möglich) anzuheben, als sinnvoll, denn so kann man die Zahl der notwendigen Versuche deutlich verringern.

Wie gesagt, daß eine beliebig gewählte Gruppe von Testhörern insgesamt das von dir beschriebene Ergebnis erzielt, war seit Beginn der "Audio-Massen-BT" so, ein gutes Beispiel wäre der breit angelegte Stereophile BT .

Gruß

[visir]

Hallo Jakob!

Original von jakob
Deswegen erscheint mir der Ansatz, über Training die Erkennungswahrscheinlichkeit der Testperson (sofern möglich) anzuheben, als sinnvoll, denn so kann man die Zahl der notwendigen Versuche deutlich verringern.

Ab da müssen wir dann aber Zielsetzungen unterscheiden: will ich herausfinden, was ein Mensch nach Training prinzipiell zu hören fähig ist, oder will ich wissen, welche Unterschiede ausreichend hörbar sind, dass sie sich beim Musikhören auswirken? Für letzteres ist der untrainierte Mensch der richtige Testkandidat. Welches Testszenario für ihn nötig ist, ist eine andere Frage.

lg, Wolfgang

[jakob]

@ Visir,

Training meint hierbei zunächst Training des Hörens unter Testbedingungen, das darüberhinaus grundsätzlich Hörtraining hilft weiß man nicht zuletzt seit den Untersuchungen von Sean Olive, aber das ist tatsächlich ein anderes Thema, wenn auch ein interessantes.

Welches Testszenario für ihn nötig ist, ist eine andere Frage.

Eigentlich ist dies die zentrale Frage. :)
Denn ohne Zweifel weicht das Testszenario bislang vom normalen Musikhören ziemlich stark ab. Bedenkt man, daß der Ausgangspunkt der BT-Überlegungen die leichte Beeinflussbarkeit von Menschen ist, erklärt es vielleicht meine Verblüffung darüber, das ohne weiteres vorausgesetzt wird, Testhörer blieben von diesen ungewohnten Bedingungen sicher gänzlich unbeeinflußt.

Übrigens war dies auch Klaus Renners Idee bei Gründung des Ohrs, das eine spezifische Laborsituation vermieden werden sollte, und der Tester stattdessen über einen längeren Zeitraum mit dem jeweiligen Gerät quasi ganz normal musikhörend leben sollte.

Gruß

[Kobe]

Original von jakob
Deswegen das Beispiel mit 4 Testpersonen, von denen 3 eine Erkennungswahrscheinlichkeit von p=0.5 haben, während der 4 Teilnehmer z.B. p=0.64 haben könnte.
Was nützt es da, daß die Beta-Fehler-Wahrscheinlichkeit extrem niedrig wäre, sofern wir unterstellen, daß alle p=0.89 aufwiesen?

Gude!

Ja, ein sehr schönes Beispiel... Der Erwartungswert für 'Treffer' dieser Gruppe liegt nämlich bei 58%.
So, wenn wir je Durchgang 20 Durchläufe annehmen, komme ich auf ein alpha von <5% bei 81 Treffern (Erwartungswert 81,2) - wie du sicher leicht nachrechnen kannst. Ich brauche dir ja jetzt nicht zu erklären, was dann passiert, oder?

Die Wahrscheinlichkeit für 'von den 4 mit 0,64 trifft bei 20 Versuchen keiner 13 oder mehr' liegt bei 2,0921%, für 14 (alpha 5%) bei 0,2222%... (gegenüber 0,001105% bzw. 0,000018% bei p = 0,5)
(Obwohl: Ich könnte hier auch 4711 schreiben...)

Übrigens wurden beim Münchner-Test die Einzelfälle abgeklopft. Ergebnis? Das übliche. Du solltest mal nachlesen, was dort noch getestet wurde, und vor allem: Warum.

Ich würde es begrüßen, mal vernünftige Zahlenwerte zu lesen, die nicht alle äußerst unwahrscheinlich sind. Mit deinen statistischen Fähigkeiten dürfte das ja kein Problem sein, mal solche zu liefern, oder? Datenmaterial jibbet ja ohne Ende.

Desweiteren glaube ich, dass du nicht mal für 5 Cent Ahnung hast, was ein RUN-Test überhaupt macht.

Und das du mit Training was erreichst - Beim DSF-Fuba-Stammtisch wäre das ein Fall für's Phrasenschwein.

Gruß Kobe

[Dr.Who]

Ich staune immer wieder, wie nervös einige reagieren,wenn man mal nicht deren Ansichten vertritt.Wir Hörenden gehen imho doch sehr viel entspannter durchs Leben,wenn man sich mal das Internet als Maßstab heranzieht. :A
Das hört sich alles immer so gefrustet an. :P

[visir]

Original von Dr.Who
Ich staune immer wieder, wie nervös einige reagieren,wenn man mal nicht deren Ansichten vertritt.Wir Hörenden gehen imho doch sehr viel entspannter durchs Leben,wenn man sich mal das Internet als Maßstab heranzieht. :A
Das hört sich alles immer so gefrustet an. :P

Frusten tun mich nur solche Beiträge.
Nach dem Motto "ich bin cooler als du".

Hast Du das nötig?

ja, stimmt schon, einige reagieren unnötig nervös - auf beiden Seiten.

lg, Wolfgang

[Dr.Who]

Original von visir

Original von Dr.Who
Ich staune immer wieder, wie nervös einige reagieren,wenn man mal nicht deren Ansichten vertritt.Wir Hörenden gehen imho doch sehr viel entspannter durchs Leben,wenn man sich mal das Internet als Maßstab heranzieht. :A
Das hört sich alles immer so gefrustet an. :P

Frusten tun mich nur solche Beiträge.
Nach dem Motto "ich bin cooler als du".

Hast Du das nötig?

ja, stimmt schon, einige reagieren unnötig nervös - auf beiden Seiten.

lg, Wolfgang

Hallo Wolfgang,

nein,ist mir nur so aufgefallen,in den letzten 3 Jahren Forenkultur.Das Streben nach dem unbedingten Beweis geht irgendwann an die Substanz.Deshalb bin ich ja auch so entspannt. :Z