HiFi Forum  

Zurück   HiFi Forum > SACHTHEMEN > Verblindete Vergleiche

Verblindete Vergleiche Wenn es "um die Wahrheit" geht, führt kein Weg daran vorbei

Antwort
 
Themen-Optionen Ansicht
Alt 13.03.2012, 20:16   #151
Scheller
Gast
 
Beiträge: n/a
Standard

Zitat:
Du hast meine Frage nach dem direkten Umschalten nicht zu meiner Zufriedenheit beantwortet. Direkt umschalten kann man nur, wenn die untersuchten Gegenstände synchron sind. Ein CD-Player-Vergleich geht damit z.B. nicht.
Ein Präferenztest (A/B) mit einigen Einschränkungen ist schon möglich. Nicht perfekt, das ist schon klar.

Zitat:
Und, auch wenn es Dir und Scheller nicht passt: Doppelblind muss das ganze auch sein, was allerdings wirklich nicht schwer zu erreichen ist.
Das passt mir so lange nicht, bis ich handfeste und nachvollziehbare Gründe dafür vorgelegt bekomme. Das war bislang nicht der Fall.

Wenn der "Moderator" die Umschaltung im isolierten Nebenraum vornimmt, und demnach die richtigen Ergebnisse kennt, kann das den Probanden unmöglich beeinflussen.

Es sei denn dass man mir das genauestens und nachvollziehbar vorlegt. Ein Link auf eine Seite, auf der dann steht: "muss doppelt blind ....usw." reicht da nicht.
Man muss es mir schon plausibel machen.

Meine Hardware wurde auf Doppelblind umgebaut, was am Testdesign absolut nichts änderte.

Wenn "wir" relativ locker Blindtesten kann ich jetzt allerdings parallel mitraten , was deiner Forderung der totalen Isolation des Einzelprobanden zwar im Wege steht, mir die vielen Stunden aber angenehmer macht.

Zitat:
Wenn man die Zuordnung von A oder B zu X per Software macht, dann ergibt sich die Doppelverblindung automatisch.
So macht es meine US-Hardware momentan auch. Eine Überzeugung der Notwendigkeit wurde bei mir dadurch aber nicht erreicht. (siehe oben)

Zitat:
Bleibt noch die Positivkontrolle. Hier bieten sich z.B. kleine Pegelunterschiede, oder ein MP3 mit niedriger Datenrate, eine steile Tiefpassfilterung (wenn es um Abtastraten geht), usw. an.
Wie sehr wünsche ich mir die Teilnahme an einem "fremdorganisierten" Blindtest, in dem z.B. die jakobsche 0,2 dB Pegeldifferenz (mit Musik!!!!!) als PK verwendet wird......Wie sehr wünsche ich mir, dass dann ein Proband diese PK "meistert" , um danach die wirklich harten Brocken zu knacken.

Wie stehen da meine Chancen im Bereich NRW ? Wer hat sowas vor? Ich möchte die Götter erleben, bevor ich sie anbete, denn der Glaube alleine reicht mir da nicht.

Zitat:
Obwohl ich hier geantwortet habe, muss ich gleich dazu schreiben, dass ich darüber nicht mit Jakob oder Babak diskutieren werde. Wenn man schon seine Zeit verschwendet, dann sollte man das mit angenehmen Dingen tun.
Wie sehr wir da einer Meinung sind.....
  Mit Zitat antworten
Alt 13.03.2012, 21:19   #152
paschulke2
Gast
 
Beiträge: n/a
Standard

Ich antworte mal auf die Schnelle und ohne Zitate (zu faul …).

ABX mit CD-Playern: Nein, David, das geht so einfach nicht. Irgendwann kann man einfach anhand des zeitlichen Versatzes rauskriegen, ob X A oder B ist.

ABX überhaupt: David, Deine Tests waren wirklich ABX? Nicht AB, z.B. beim Netzkabeltest?

Doppelblind: Wenn während des gesamten Tests der Umschalter/Moderator keinen Kontakt zur teilnehmenden Person hat, dann geht das wohl als doppelblind durch – spätenstens wenn man es mit drei Personen (Teilnehmer(in), Moderator, Umschalter/stöpsler) macht. Trotzdem verstehe ich das Sträuben nicht: Bei ABX ist doppelblind wirklich sehr leicht technisch zu realisieren – jedenfalls einfacher als eine "Person im Nebenraum".

Positivkontrolle: Ich hatte nix von 0.2dB geschrieben. Mit für die Fragestellung relevanten Signalen (Sprache und Musik) wird man irgendwo in der Gegend von 1dB rauskommen.

Was ich noch vergessen hatte:

Beim ABX-Test darf entweder nie eine hörbare Pause bzw. ein Umschaltgeräusch entstehen, oder die Pause bzw. das Geräusch muss immer entstehen, auch dann, wenn beim Schalten auf "X" in Wirklichkeit gar nicht umgeschaltet wird. Wenn man die Zwangspause beim Umschalten lang macht, dann kann man auch versuchen, CD-Player per ABX zu vergleichen – auf Kosten der Empfindlichkeit des Tests.

Jetzt könnte man natürlich noch diskutieren, was fehlt, um so einen Test in die Nähe von "wissenschaftlich" zu bringen. Da wären dann Sachen dabei, die David nicht erfreuen würden …

Gruß

Thomas
  Mit Zitat antworten
Alt 13.03.2012, 21:51   #153
Scheller
Gast
 
Beiträge: n/a
Standard

Zitat:
Trotzdem verstehe ich das Sträuben nicht:
Kein Sträuben. Meine Hardware unterstützt das. Mir geht es ums Prinzip.

Zitat:
Beim ABX-Test darf entweder nie eine hörbare Pause bzw. ein Umschaltgeräusch entstehen, oder die Pause bzw. das Geräusch muss immer entstehen, auch dann, wenn beim Schalten auf "X" in Wirklichkeit gar nicht umgeschaltet wird. Wenn man die Zwangspause beim Umschalten lang macht, dann kann man auch versuchen, CD-Player per ABX zu vergleichen – auf Kosten der Empfindlichkeit des Tests.
Muting während der Umschaltphase konnte meine BT-Hardware von Anfang an. Alle Hörer bevorzugten bislang aber die direkte Umschaltung ohne 300....700 ms Muting

Zitat:
Positivkontrolle: Ich hatte nix von 0.2dB geschrieben.

Aus diesem Grund schrieb ich auch "jakobsche 0,2 dB".
Nehmen wir mal an, es sollen zwei ganz normale Transistorendstufen verglichen werden. Also ein ganz normales Szenario, wie ich es so oft erlebt habe. Z.B. eine Burmester 911 und eine Perreaux Prisma 350.
Der Proband behauptet (wie so oft), dass die Burmester viel differenzierter aufspielt, und die Instrumente wesentlich schärfer umrissen im Raum abgebildet werden. ...usw....bla...bla....das Übliche.

Der ganz normale Blödsinn, wie ich ihn immer wieder "erlebe".

Nun ist der Amplitudenfrequenzgang beider Geräte zwischen 30 und 18000 Hz (bedingt durch niedrige Ausgangsimpedanz) auch am Lautsprecher auf etwa 0,1 dB identisch.

Was bringt mir in diesem Fall eine Positivkontrolle mit Pegeldifferenzen von 0,2 , 0,4 oder gar 1 dB ?

Wozu dient ein 128 Kbit MP3, wo doch beide Endverstärker eine excellente Verzwerrungsarmut aufweisen?

Hat sich der Hörer dann "disqualifiziert", wenn er mit Musik die 0,4 dB nicht sicher wahrnehmen konnte, oder das 128er MP3 zu oft als das unkomprimierte nannte?

Kann man dann also davon ausgehen, dass der "Typ" (Proband) eine Lachnummer ist, und das Geschwafel über den "Endstufenklang" seiner Phantasie entsprungen ist?

Bei aller Verliebtheit zur "wissenschaftlichen Vorgehensweise" (oder bessergesagt alleine dem Gerede darüber) basieren alle heutigen BT-Diskussionen auf den Revolverstories einzelner Forenjunkies.

Hätte es die nicht gegeben, gäbe es heute keine BT-Debatten. ;) Das sollte man nie vergessen.

Geändert von Scheller (13.03.2012 um 21:57 Uhr).
  Mit Zitat antworten
Alt 13.03.2012, 22:10   #154
paschulke2
Gast
 
Beiträge: n/a
Standard

Zitat:
Zitat von Scheller Beitrag anzeigen
Was bringt mir in diesem Fall eine Positivkontrolle mit Pegeldifferenzen von 0,2 , 0,4 oder gar 1 dB ?
Sie schließt eine ganze Menge anderer (realer oder eingebildeter) Fehlermöglichkeiten aus. Wenn in einem ABX-Test z.B. 0.5dB erkannt werden (das könnte z.B. evtl. mit dem Adagio von Barber klappen), dann wird man kaum noch etwas von "Test funktioniert nicht wg. Stress durch Ergebnisschuldung" faseln können.

Zitat:
Zitat von Scheller Beitrag anzeigen
Wozu dient ein 128 Kbit MP3, wo doch beide Endverstärker eine excellente Verzwerrungsarmut aufweisen?
Das würde man in einem Verstärker-Test natürlich auch nicht nehmen – ich hatte aber auch nicht nur von solchen Tests geschrieben. In einem Test von Audio-Codecs würde das schon eher sinnvoll sein, aber auch nur mit ausgewählten "Killer"-Proben.

Wenn es dann bei Audio-Codecs um wirklich sinnvolle Tests ginge, dann wäre sowieso ein Präferenztest angesagt, in dem man dann sog. "Anker" einbringt, also Proben mit bekannt (guter oder schlechter) Qualität. Beispiele bei Codecs für Rundfunk für einen Anker mit guter Qualität wären UKW-FM und für einen Anker mit schlechter Qualität LW/MW/KW-AM.

Gruß

Thomas
  Mit Zitat antworten
Alt 13.03.2012, 23:16   #155
kammerklang
Erfahrener Benutzer
 
Registriert seit: 23.08.2010
Beiträge: 189
kammerklang befindet sich auf einem aufstrebenden Ast
Standard

Zitat:
Parameter, die nichts mit der Fragestellung zu tun haben, sollten die Teilnehmer frei wählen können (z.B. Hördauer).
Nein - auf keinen Fall, das ist absolut kontraproduktiv. Dieser Parameter hat entscheidend mit der Fragestellung zu tun: Denn je länger man in einem einzelnen Durchgang Hin- und Her vergleichen kann, um so WENIGER werden feine unterschwellig wahrgenommene Unterschiede noch in die Entscheidung einbezogen - es wird zuviel nachgedacht und überlegt, das überdeckt die JNDs und nivelliert in Richtung Zufallsentscheidung. Dieser Zusammenhang zeigt sich in fast allen Wahrnehmungsexperimenten, deshalb muß man ihn unterlaufen: Die Devise muß lauten konzentriertes zügiges Raten, das ist sehr wichtig und muss der Versuchsperson eingeschärft werden. Maximal 10 sec A, dann genauso lange B, dann maximal 5 sec Zeit zur Entscheidung, fertig. Nächster Durchgang.

Zitat:
Mehr als 10 Durchgänge pro Test und Teilnehmer sollten es wohl nicht sein.
Nein, das ist viel zu wenig und führt nur zu Kaffeesatzleserei. Stattdessen mindestens 100 schnelle Durchgänge, wie oben beschrieben, macht eine knappe 3/4 Stunde reine Testdauer, zwischendrin nach Belieben eine kurze Pause von vielleicht 5-10 min. Die gleiche Person kann dann nach größerer Pause - ein oder mehrere Stunden - nochmal eine Session absolvieren. Erst mit diesen größeren Zahlen ist dann auch eine vernünftige Statistik möglich, bei der Rateeffekte usw. sich herausmitteln.

Erfahrungsgemäß ist es zur Motivation gut, den Versuchsleiter im selben Raum zu lassen, wobei der aber nicht weiß, was gerade läuft. Am besten wären ohnehin Kopfhörertests, dann ist die leidige Raumakustik und das Problem der fehlerbehafteten LS-Wiedergabe eliminiert.
kammerklang ist offline   Mit Zitat antworten
Alt 14.03.2012, 07:28   #156
David
Admin und Forumsbetreiber
 
Benutzerbild von David
 
Registriert seit: 15.03.2006
Ort: Wien/Umgebung
Beiträge: 36.634
David hat die Renommee-Anzeige deaktiviert
Standard

@kammerklang schrieb:
Zitat:
Nein - auf keinen Fall, das ist absolut kontraproduktiv. Dieser Parameter hat entscheidend mit der Fragestellung zu tun: Denn je länger man in einem einzelnen Durchgang Hin- und Her vergleichen kann, um so WENIGER werden feine unterschwellig wahrgenommene Unterschiede noch in die Entscheidung einbezogen - es wird zuviel nachgedacht und überlegt, das überdeckt die JNDs und nivelliert in Richtung Zufallsentscheidung.
Da ist was dran, ich stelle das bei mir beim Foobar ABX-Tets (und zuletzt beim Klippel-Test) auch immer fest. Umso länger ich teste, desto schlechter werden meine Empfindungen für Unterschiede.

Zitat:
Dieser Zusammenhang zeigt sich in fast allen Wahrnehmungsexperimenten, deshalb muß man ihn unterlaufen: Die Devise muß lauten konzentriertes zügiges Raten, das ist sehr wichtig und muss der Versuchsperson eingeschärft werden. Maximal 10 sec A, dann genauso lange B, dann maximal 5 sec Zeit zur Entscheidung, fertig. Nächster Durchgang.
Ich selbst teste so, meine Durchgänge (mit 20 Proben) haben sicher unter 2 Minuten gedauert. Entweder ich höre etwas gleich oder gar nicht mehr.

Zitat:
Nein, das ist viel zu wenig und führt nur zu Kaffeesatzleserei. Stattdessen mindestens 100 schnelle Durchgänge, wie oben beschrieben, macht eine knappe 3/4 Stunde reine Testdauer, zwischendrin nach Belieben eine kurze Pause von vielleicht 5-10 min. Die gleiche Person kann dann nach größerer Pause - ein oder mehrere Stunden - nochmal eine Session absolvieren. Erst mit diesen größeren Zahlen ist dann auch eine vernünftige Statistik möglich, bei der Rateeffekte usw. sich herausmitteln.
Muss ich einmal probieren, glaube aber nicht, dass sich dadurch am Endergebnis etwas Wesentliches ändert.

Zitat:
Erfahrungsgemäß ist es zur Motivation gut, den Versuchsleiter im selben Raum zu lassen, wobei der aber nicht weiß, was gerade läuft.
Kann man machen (der muss natürlich beim Testen die Klappe halten), aber dann ist doppelte Verblindung tatsächlich unumgänglich.

Zitat:
Am besten wären ohnehin Kopfhörertests, dann ist die leidige Raumakustik und das Problem der fehlerbehafteten LS-Wiedergabe eliminiert.
Stimmt zwar, macht aber wieder deutlich, wie sehr man gegenüber den üblichen unverblindeten Tests "alle Register ziehen muss", um den Probanden beste Chancen zu bieten. Und selbst dabei kommt bei den umstrittenen Dingen nichts raus.

Was ist also von den üblichen "Tests" bei Händlern, Messen oder gar bei Workshops zu halten? Richtig! Gar nichts! Das ist echt verschwendete Zeit. Was dabei rauskommt, sind Vorurteile mit 99% Fehlerwahrscheinlichkeit.
__________________
Gruß
David


Einen „Audio-Laien“ erkennt man daran, dass er sich viel mehr mit Audiokomponenten beschäftigt als mit Raumakustik, LS-Aufstellung und Hörplatzwahl.
Auch Personen, die noch wenig Wissen auf diesem Gebiet haben, oder solche, die Rat und Hinweise von Erfahrenen suchen, sind hier richtig.
Meine Auffassung von seriösen Vergleichstests: Klick mich - Die bisherigen Testergebnisse: Klick mich - Private Anlage: Klick mich
Grundsätzlich: Behauptungen die mir bedenklich erscheinen, glaube ich erst, wenn sie mir in Form eines verblindeten Vergleichs bewiesen werden konnten. Das gilt für das was ich selbst zu hören glaube ebenso.
Eine Bitte an Alle: nicht ganze (noch dazu große) Beiträge zitieren und darunter einen kurzen Kommentar schreiben! Besser (beispielsweise): "Volle Zustimmung zu Beitrag 37".
David ist offline   Mit Zitat antworten
Alt 14.03.2012, 08:30   #157
paschulke2
Gast
 
Beiträge: n/a
Standard

Zitat:
Zitat von kammerklang Beitrag anzeigen
es wird zuviel nachgedacht und überlegt, das überdeckt die JNDs und nivelliert in Richtung Zufallsentscheidung.
Gibt es für diese Aussage irgendwelche Belege oder denkst Du Dir das nur so?
Zitat:
Zitat von kammerklang Beitrag anzeigen
Maximal 10 sec A, dann genauso lange B, dann maximal 5 sec Zeit zur Entscheidung, fertig. Nächster Durchgang.
Du hast ABX nicht verstanden. Der Witz an ABX ist, dass die teilnehmende Person selbst zwischen A, B und X umschaltet. Wie willst Du diese Zeiten erzwingen? Mit einem Drill Instructor ("Sir, X ist A, Sir!!!")? Elektroschocks?
Zitat:
Zitat von kammerklang Beitrag anzeigen
Erfahrungsgemäß ist es zur Motivation gut, den Versuchsleiter im selben Raum zu lassen
Sprichst Du hier aus Erfahrung? Hast Du solche Tests schon durchgeführt?

Wenn überhaupt, dann ginge Dein Verfahren nur in einem AB-Test. Die teilnehmende Person bekäme also randomisiert A-A, A-B, B-A, B-B vorgespielt und müsste immer ganz schnell entscheiden, ob die Proben gleich oder unterschiedlich waren.

Bleibt die Frage, ob das so wirklich empfindlicher ist. Dein Vorschlag entspringt ja nicht der Idee, einen besonders guten Test zu entwickeln, sondern der Ideologie, dass all die tollen Unterschiede in den Holzohren-Tests nicht gehört werden, weil beide (Holzohren und Tests) zu "verkopft" sind. Und genau diese Frage ließe sich mit Positivkontrollen beantworten.

@ David: Wie wäre es, wenn Du mal an Dich gerichtete Fragen beantwortest? Ich fänd's toll.

Gruß

Thomas
  Mit Zitat antworten
Alt 14.03.2012, 13:32   #158
Jakob
Erfahrener Benutzer
 
Registriert seit: 17.08.2010
Beiträge: 990
Jakob befindet sich auf einem aufstrebenden Ast
Standard

Die Diskussion spiegelt wieder, daß es ohne Berücksichtigung der Unterschiede der untersuchten Fragestellung schwierig wird, sich auf ein Vorgehen zu einigen.

Die Fragestellung muß vorab geklärt werden und danach kann die Überführung in ein Testdesign in der Operationalisierungsphase sinnvoll erfolgen, kurz erläutert hier:

http://www.open-end-music.de/vb3/showthread.php?t=419

Die untersuchte Fragestellung hat direkten Einfluß selbst auf die Länge der verwendeten Musiksequenzen.

Möchte man die Erfahrung der Testteilnehmer (und damit das kategoriale Gedächtnis) weitgehend ausschließen, dann wählt man die Sequenzlänge <5s (Precoda/1/) .

Geht es darum, gerade auf das Expertenwissen/Erfahrung (und damit gerade auch auf das kategoriale Gedächtnis) versierter Hörer zurückzugreifen, wählt man die Länge entsprechend größer mit 10s-20s, bei gleichzeitiger Berücksichtigung zeitlicher Beschränkungen (ITU/2/) .

Geht es weniger um Artefakte und mehr um die Beurteilung unter ganzheitlichen Gesichtspunkten (wie z.B. "Werkvermittlung") greift man eher zu längeren Passagen bis hin zu ganzen Stücken (Blech/3/) .

Die Auswahl der Hörer ist ein zentrales Element, ebenso die Frage der Gewöhnung an Testprocedere, Positivkontrollen und Aufgabenstellung; auch hier bietet die ITU-Empfehlung (ITU/2/) einige gute Informationen; die in ihr enthaltene Warnung, daß es sich nur um eine kurze Einführung handeln kann, sollte man berücksichtigen.
Sinnvoll ist zusätzlich die Nutzung von Erfahrungen aus anderen Bereichen sensorischer Testung (Bech/4/) .

/1/Precoda, Kristin; Meng, Teresa H., Listener Differences in Audio Compression Evaluations,
JAES Volume 45 Issue 9 pp. 708-715; September 1997

/2/ITU-R BS.1116, METHODS FOR THE SUBJECTIVE ASSESSMENT OF SMALL IMPAIRMENTS
IN AUDIO SYSTEMS INCLUDING MULTICHANNEL SOUND SYSTEMS
http://www.itu.int/dms_pubrec/itu-r/...0-I!!PDF-E.pdf

/3/Blech, Yang, Hörvergleich Direct Stream Digital und High-Resolution-PCM (24bit/176,4kHz)
http://www.eti.hfm-detmold.de/lehrak...s-dsd.pdf/view

/4/Bech, Zacharov, Perceptual Audio Evaluation - Theory, Method and Application, Wiley ISBN-10: 0-470-86923-2 ,2006,
Seite 99ff.
__________________
Gewerblicher Teilnehmer. Entwicklung, Herstellung und Vertrieb von Audiotechnik. (u.a.)

Geändert von Jakob (14.03.2012 um 14:24 Uhr).
Jakob ist offline   Mit Zitat antworten
Alt 14.03.2012, 14:11   #159
schauki
Erfahrener Benutzer
 
Registriert seit: 28.02.2010
Beiträge: 7.798
schauki befindet sich auf einem aufstrebenden Ast
Standard

selbst gelöscht von schauki
schauki ist offline   Mit Zitat antworten
Alt 14.03.2012, 14:20   #160
Jakob
Erfahrener Benutzer
 
Registriert seit: 17.08.2010
Beiträge: 990
Jakob befindet sich auf einem aufstrebenden Ast
Standard

Zitat:
Zitat von seufert Beitrag anzeigen
<snip>
Die Daten wurden eben NICHT ausgewertet, sondern einfach frei interpretiert. Das zeigt eben genau, dass kein Basiswissen in Statistik vorhanden war. Statistisch sind die Hypothesen jedenfalls nicht untersucht worden. Ein Lehrbuch zu Statistik hat der Autor mit Sicherheit noch nie von Innen gesehen.
Wie gesagt, der Anhang fehlt und es mag sein, daß er die statistische Auswertung enthält. Deshalb sind Schlußfolgerungen auf des Autors statistische Kenntnisse ein bißchen mit Vorsicht zu geniessen.

Zitat:
Jede Menge allgemeines Blabla, aber der Versuchablasuf selbst ist so gut wie nicht beschrieben. Wurde mit Player "L" oder "R" gestartet? Wie wurde entschieden, mit welchem Player gestartet wurde? Alleine das Fehlen dieser Informationen macht die Arbeit wertlos.
Die Informationen sind schon enthalten, wenn auch an manchen Stellen nur indirekt; Randomisierung usw. sind in der Dokumentation beschrieben.

Zitat:
[*]Warum gabs es nur 3 Bewertungskategorien? Warum nicht 7 (z.B. nach ITU-T P.800)?
Eigentlich hätte es sogar nur zwei Bewertungskategorien geben sollen; es entspricht einfach dem gewählten Verfahren (A-B-Diskriminierungstest über Präferenzentscheidung- directional paired comparison, forced choice), eine graduelle Einstufung ist nicht zwingend Ziel einer Untersuchung.

Zitat:
Wie gross ist denn die Streuung, wenn man ein Kabel mit sich selbst vergleicht? Waehlen die Probanden dann alle "kein Unterschied"? Ich bezweifle das.
Die Präsentation des gleichen Stimulus findet sich jeweils als Durchgang 3 .

Zitat:
Haengt es vom Stueck ab, ob man es beim ersten hoeren oder beim nochmaligen Hoeren als angenehmer empfindet? Aber wie gross wird die Abweichung sein? Das haette man Kontrollieren muessen, indem man nicht nur AB (ob BA stattfand laesst sich ja nicht einmal sagen...),....
läßt sich schon sagen, man muß allerdings die Diagramme auswerten, es gab sowohl AB als auch BA

Zitat:
..... sondern auch AA und BB vergleicht. Das waere allemal sinnvoller gewesen als der Unsinn mit der klangoptimierten CDs.
Es wäre dann ein "gleich/ungleich" Test geworden, also eine andere Variante.
Es gibt übrigens mWn in der gesamten Literatur bislang keinen Hinweis auf eine musiktitelspezifische Präferenz für die erste oder zweite Präsentation!

Zitat:
[*]Warum wurde ueberhaupt mit der "wiedergabeoptimierten" CD ein weiterer Parameter in den Test eingefuehrt?
Das ist in der Tat eine gute, und eigentlich nicht zu beantwortende Frage (s.d.a. die von Lego verlinkte Diskussion im musik-hifi-stammtisch - Forum), denn die Einführung der "wiedergabeoptimierten" CD ist methodisch schlicht unzulässig.

Zitat:
Kap 5 (1): Diese Hypothese ist in drei von fuenf moeglichen Faellen falsifiziert worden. Hae? Ist die Hyptothese nun falsiziert oder nicht? Wenn man die Daten mal ueber die Titelgrenzen zusammenfasst, dann bleibt nicht mehr viel uebrig.
Es ist ein Folge von Einzelversuchen, da jeweils in der Musikwahl unterschiedlich. Deshalb kann man zunächst auch nur nach Einzeltiteln auswerten und dann könnte man auf diese Art von Schlußfolgerung kommen. Ob im einzelnen berechtigt, zeigt die statistische Auswertung; ich werde sie in den einzelnen Ausprägungen nochmals zusammenfassen, beim ersten überschlägigen Rechnen würde ich sagen, daß die Schlußfolgerung zunächst nur berechtigt erscheint, wenn man die "klingt gleich" Antworten als ungültig verwirft.

Es gibt in der Literatur verschiedene Ansätze zur Auswertung von "multiple paired comparison Tests" , die auf unterschiedliche Art und Weise mit dem unerwünschten "klingt gleich" Antwortproblem umgehen.

Zitat:
Die weiteren Schlussfolgerungen sind genauso abenteuerlich, weil statistisch einfach nicht untersucht. Wie gesagt: Der Autor hat offensichtlich keinerlei Wissen in Statistik, nicht einmal auf Schulniveau: Schon da lernt man wie man eine Hyptothese testet.
s.o. Die weiteren Hypothesenauswertungen habe ich bislang ausgespart, weil sie mir, teils wegen der "Farbschwierigkeiten" im PDF, teils wegen der geringen Datenbasis (Hypothese "Mann oder Frau hört besser" ) unwägbar erscheinen, manchmal auch einfach nicht interessant genug.

Zitat:
Das alles sind auch keine "abstrusen Forderungen", das ist was die Fachliteratur empfiehlt (z.B. Bech/Zacharov: Perceptual Audio Evaluation). Es gibt Empfehlungen der ITU-T...
Wenn z.B. das eine Zusammenfasung von Hager/Spies ist, dann beherzigt Sturm nicht einmal seine eigenen Literaturangaben.
ME berücksichtigt er diese Punkte schon weitestgehend (abgesehen vom mir nicht bekannten Anhangsteil) im vorliegenden PDF, Bech/Zacharov gehört zwar zu unserer Standardempfehlungsliste, ist aber keineswegs die ausschließliche einzig richtige Versuchsanlage.

Zitat:
So bleibt wie gesagt von der Aussagekraft der Arbeit nichts uebrig. Und das bedauere ich.
Ich würde sagen, zusammenfassend ist die Beurteilung so nicht gerechtfertigt, trotz der angesprochenen methodischen Mängel, aber es ist sicher so, daß nicht noch die Anwendung des Occhamschen Rasiermessers notwendig sein sollte, wenn man schon einen derart umfangreichen Versuch durchführt.

Gruß
__________________
Gewerblicher Teilnehmer. Entwicklung, Herstellung und Vertrieb von Audiotechnik. (u.a.)

Geändert von Jakob (14.03.2012 um 15:00 Uhr).
Jakob ist offline   Mit Zitat antworten
Alt 14.03.2012, 14:39   #161
kammerklang
Erfahrener Benutzer
 
Registriert seit: 23.08.2010
Beiträge: 189
kammerklang befindet sich auf einem aufstrebenden Ast
Standard

paschulke schrieb:
Zitat:
(Überdeckte JNDibt es für diese Aussage irgendwelche Belege oder denkst Du Dir das nur so?
Mahlzeit. Ich denke mir so, dass Du noch nie ein halbwegs aktuelles sinnesphysiologisches Paper gesehen hast. Ich bin zwar auch kein Fachmann, der das regelmäßig täte, aber ich weiß wie ein paar von denen arbeiten. Schau doch einfach mal Publikationen an, z.B. zum Thema JND, da ist forced-choice aus den genannten Gründen längst so etwas wie Standard. Die Hörschellen verlaufen, so wie alle anderen Sinneswahrnehmungsschwellen auch, im Unbewussten oder Vorbewussten, sie liegen unterschwellig, unterhalb der bewussten Empfindung, und sie verlaufen obendrein unscharf, es gibt eine breite Zone mit statistischer Unsicherheit, die aber vom Gehirn zur Auswertung herangezogen wird. Wenn man diese unterbewusste Zone im Test erfassen will, also den Test so empfindlich machen wie möglich, geht das bislang meines Wissens nur mit forced-choice. Beispiel Visus: klassischer Lesetest mit geforderter 100% sicherer (also "bewußter") Erkennung liefert z.B. 1,3 entsprechend 46 Bogensekunden Auflösung. Aber forced-choice Ratetest z.B. mit Landoldtringen mit >50% geforderter ("unterbewußter") Erkennungsrate liefert bei derselben Person Visus 2,2 d.h. ca 27", also fast doppelt so gute Auflösung...

Unser bewußtes Erleben ist ein vorsätzliche Vergröberung feinerer unterschwelliger Wahrnehmungen, sie werden ausgewertet aber zu einem gröberen vereinfachten "Bild" zusammengesetzt, damit wir nicht permanent überfordert sind von Unsicherheit aufgrund schwankender Datenströme der Sinnesrezeptoren. Obwohl wir also vieles unbewußt nur vermuten, wollen wir schnell zu gefühlt eindeutigen Urteilen kommen. Das ist überlebenswichtig und mental unbewußt so einprogrammiert. (Im Alltag nützt das. Aber in Diskussionen, wenn es darum geht neue Einsichten zu gewinnen, neue Wege zu suchen usw. sind vergleichbar eindeutige Urteile - alles ganz klar, alles ganz eindeutig, ich weiß doch, dass Du nichts hörst - aber ich hör es doch, usw. - leider meist kontraproduktiv.)

Zitat:
Du hast ABX nicht verstanden. Der Witz an ABX ist... drill instructor
Der Witz ist, dass Du forced-choice nicht verstanden hast. In der Praxis wird das feste Zeitschema vom Computer vorgegeben, kommt keine Antwort, kommt der nächste Durchgang. Macht man zum Vergleich den Test mit beliebiger Umschalterei, sinkt die Erkennungsleistung wieder ab, siehe oben. Man kann ja gerne zum Vergleich ABX fahren, aber forced-choice wäre eine neue Variante die in jedem Fall empfindlicher testet und mit der man deshalb eventuell neue feinere Unterschiede finden könnte. Die ewige Wiederholung des Bisherigen wird dagegen ganz sicher keine neuen Erkenntnisse bringen. Das ganze hat mit Drill überhaupt nix zu tun - das ist nur die übliche wohlmeinende aber leider ziemlich dämliche Unterstellung von ahnungslosen Laien - sondern damit, in einem Test an die tatsächlich wahrgenommenen unterbewussten Hörschwellen zu kommen und nicht an die bewußt erlebten.

Zitat:
Sprichst Du hier aus Erfahrung? Hast Du solche Tests schon durchgeführt?
Ja, spreche ich, siehe oben, ich mache aber diese Tests nicht selbst, sondern spiele manchmal Versuchsperson für befreundete Forscherkollegen. Allerdings ging's da bisher vorwiegend um taktile und visuelle Reizschwellen, die man für die Entwicklung virtueller Umgebungen und neuer Gerätesteuerungen in der Forschung gerade auslotet.

Zitat:
Bleibt die Frage, ob das so wirklich empfindlicher ist. Dein Vorschlag entspringt ja nicht der Idee, einen besonders guten Test zu entwickeln, sondern der Ideologie,
Laß mal die Unterstellungen weg. Wenn Du's partout nicht glaubst, dann lies doch einfach mal entsprechende Literatur, bevor Du irgendwelche "Ideologien" bei mir ausmachst und den typischen omnipotenten Forenbesserwisser raushängst. Man muß offen sein für die Erfahrungen anderer Leute und nicht nur der Leute, die die eigenen unbemerkten Vorurteile bestätigen.

David schrieb:
Zitat:
macht aber wieder deutlich, wie sehr man gegenüber den üblichen unverblindeten Tests "alle Register ziehen muss", um den Probanden beste Chancen zu bieten. Und selbst dabei kommt bei den umstrittenen Dingen nichts raus.
Aber natürlich muß man das. Es geht doch nicht darum, im Handumdrehen die Leute zu düpieren, es geht darum rauszukriegen, was sie wirklich können. Dazu muß man einigen Aufwand treiben, weil der menschliche Organismus nunmal komplexer und ganz anders funktioniert als es sich viele so vorstellen. Gerade die Wahrnehmung ist ein noch weitgehend unbekanntes Feld, egal was manche hier so glauben. Und ob bei einem gut gemachten forced-choice Hörtest nichts Neues rauskäme kannst Du doch gar nicht wissen. Am schlimmsten sind für die Forschung negative Vorurteile, die unmerklich jeden Erkenntisgewinn blockieren können.

Geändert von kammerklang (14.03.2012 um 15:27 Uhr).
kammerklang ist offline   Mit Zitat antworten
Alt 14.03.2012, 15:00   #162
paschulke2
Gast
 
Beiträge: n/a
Standard

Zitat:
Zitat von kammerklang Beitrag anzeigen
Der Witz ist, dass Du forced-choice nicht verstanden hast. In
Forced Choice heißt nicht, dass man in einer bestimmten Zeit Antworten muss, sondern, dass man überhaupt antworten muss. Geht es nur um einen Unterschied, dann bedeutet Forced Choice, dass man nicht mit "gleich" oder mit "weiß nicht" antworten kann. Wenn es um Abstufungen geht, dann bedeutet Forced Choice, dass man die Mitte rausnimmt, also z.B.:

Finden sie Goldohren doof?

(1) Ja, unbedingt!
(2) Eher schon.
(3) Weiß nicht. Ist mir egal.
(4) Eher nicht.
(5) Nein, auf keinen Fall!

In einer Forced Choice-Befragung lässt man (3) weg, um den Befragten die Möglichkeit zu nehmen, immer die "goldene Mitte", also die einfachste Antwort zu geben.

Wir halten also fest, das Forced Choice nichts mit einer vorgegebenen Zeitspanne zu tun hat.

Und für Dich halte ich auch gern noch fest, dass ich bis zur Nennung eines konkreten Beipiels, in dem ein Test durch Zeitdruck empfindlicher wird, davon ausgehe, dass Du das einfach falsch/unvollständig verstanden hast. Deine Theorien zum Thema Hörschwelle sind mir als Warnung noch in lebhafter Erinnerung.

Edit: Hier kann man was zu Forced Choice bei Sehtests mit dem Landoltring lesen. Wie erwartet hat sich kammerklang das mit der zeitlichen Beschränkung (die bei anderen Tests, z.B. Geruch, sinnvoll sein kann) nur aus den Fingern gesaugt.

Geändert von paschulke2 (14.03.2012 um 15:58 Uhr).
  Mit Zitat antworten
Alt 14.03.2012, 15:25   #163
kammerklang
Erfahrener Benutzer
 
Registriert seit: 23.08.2010
Beiträge: 189
kammerklang befindet sich auf einem aufstrebenden Ast
Standard

Lassen wir das. Frön Deiner schnell gegoogelten Besserwisserei. :-)
kammerklang ist offline   Mit Zitat antworten
Alt 14.03.2012, 15:56   #164
schauki
Erfahrener Benutzer
 
Registriert seit: 28.02.2010
Beiträge: 7.798
schauki befindet sich auf einem aufstrebenden Ast
Standard

Hallo!
Zitat:
Zitat von kammerklang Beitrag anzeigen
Lassen wir das. Frön Deiner schnell gegoogelten Besserwisserei. :-)
Mir erscheinen deine Argumente bzgl. Raten bei Tests und Unterbewusstsein schon einleuchtend, weil mans ja auch ein bisschen aus der Praxis kennt.
Man schaut wo hin, oder hört etwas ganz kurz und ein kleines Detail lässt einen etwas erkennen.
Normalerweise kann man dann aber auch mit detailliertem Hinschauen noch mehr erkennen.
Aber grundsätzlich kann ich mir das schon vorstellen.


Auf der anderen Seite ist auch die Argumentation von paschulke2 nachvollziehbar und was "forced choice" angeht würde es mich schon interessieren ob das immer mit Zeitbeschränkung einhergeht?
Ich für meinen Teil höre das nämlich auch zum ersten Mal.
Also Zusatz wie gesagt, durchaus vorstellbar, aber zwingend nötig?

mfg
schauki ist offline   Mit Zitat antworten
Alt 14.03.2012, 16:04   #165
paschulke2
Gast
 
Beiträge: n/a
Standard

Zitat:
Zitat von schauki Beitrag anzeigen
Auf der anderen Seite ist auch die Argumentation von paschulke2 nachvollziehbar und was "forced choice" angeht würde es mich schon interessieren ob das immer mit Zeitbeschränkung einhergeht?
Nein, Forced Choice hat mit Zeitbeschränkung nichts zu tun. Das kann man aber auch ganz leicht googlen. Siehe z.B. den Link, den ich meinem vorherigen Beitrag hinzugefügt habe. Da wird genau das von kammerklang genannte Beispiel (Sehtest mit Landoltring) abgehandelt.

Gruß

Thomas
  Mit Zitat antworten
Antwort

Lesezeichen


Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)
 
Themen-Optionen
Ansicht

Forumregeln
Es ist Ihnen nicht erlaubt, neue Themen zu verfassen.
Es ist Ihnen erlaubt, auf Beiträge zu antworten.
Es ist Ihnen nicht erlaubt, Anhänge hochzuladen.
Es ist Ihnen nicht erlaubt, Ihre Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Gehe zu



Alle Zeitangaben in WEZ +2. Es ist jetzt 02:08 Uhr.


Powered by vBulletin® Version 3.7.1 (Deutsch)
Copyright ©2000 - 2018, Jelsoft Enterprises Ltd.
Powered by vBCMS® 1.2.2 ©2002 - 2018 vbdesigns.de