HiFi Forum  

Zurück   HiFi Forum > SACHTHEMEN > Verblindete Vergleiche

Verblindete Vergleiche Wenn es "um die Wahrheit" geht, führt kein Weg daran vorbei

Antwort
 
Themen-Optionen Ansicht
Alt 12.01.2011, 14:52   #16
Jakob
Erfahrener Benutzer
 
Registriert seit: 17.08.2010
Beiträge: 1.030
Jakob befindet sich auf einem aufstrebenden Ast
Standard

@ hifiaktiv,

wir haben nur aufgezählt, welche Schlußfolgerungen möglich sind, da der Test keine Hilfestellung dabei bietet, die _richtige_ auszuwählen.

Du führst in deinem Beitrag vor, wie man aufgrund der eigenen Überzeugung sich die passende (dir selbst plausibel erscheinende) Schlußfolgerung aussucht, nur hat das mit dem Test und den durch ihn abgedeckten Erkenntnissen nichts mehr zu tun.

Als Vergleichsbeispiel nehmen wir Olaf Sturms Kabeltest, Durchgang B mit 42 Testpersonen in 6 Durchgängen mit 6 verschiedenen Musikbeispielen; 2 Kabel im DBT-Vergleich, Durchgang 3 ist die Negativkontrolle, bei der 2mal hintereinander das gleiche Kabel verdeckt gespielt wurde.

Ergebnisse:
Durchgang 1
1 besser: 12
2 besser: 21
gleich: 9

Durchgang 2
1 besser: 8
2 besser: 20
gleich: 14

Durchgang 3 (Negativkontrolle zweimal das gleiche Kabel)
1 besser: 18
2 besser: 17
gleich: 7

Durchgang 4
1 besser: 7
2 besser: 27
gleich: 8

Durchgang 5
1 besser: 27
2 besser: 6
gleich: 9

Durchgang 6
1 besser: 13
2 besser: 20
gleich: 9

Folgte ich deiner "Holzhammerargumentation", dann wäre damit eindeutig und klar "bewiesen", daß die beiden Kabel unterschiedlich klingen und daß wäre die "Faktenlage" . ;)

Ich hatte den Diskussionslink dazu oben gepostet und mE wurden in der Diskussion die entsprechenden Punkte herausgearbeitet.

Übrigen noch eine Anmerkung zu den "Superohren" resp. geübten Hörern; in jedem Normvorschlag steht geschrieben, daß man mit den Testteilnehmern _unter_ _Testbedingunge_ trainieren _soll_ . Ich hatte seit Anbeginn der Diskussion unsere Erfahrung aus Testreihen über die letzten 25 Jahre gepostet, daß tatsächlich das Hören unter Testbedingungen auch für ansonsten geübte Hörer schwierig war, und die meisten von ihnen erst nach Gewöhnung an die Testbedingungen zur "Normalform" zurückfanden.

Ein Bericht aus dem Jahr 1991 zum Ergebnis einer Doppelblindteststudie aus Schweden zur Transparenz von Audio-Codecs anläßlich einer AES-Convention:

Zitat:
First, Locanthi related his experience of listening to a DAT tape that contained examples of low–bit-rate encoded music. He had requested the tape from Swedish Radio, the organization which conducted the official listening tests of these systems (footnote 2). Almost immediately Locanthi heard several peculiar sounds in the music, the most obvious being an idle tone at 1.5kHz.

When Locanthi informed Swedish Radio of this problem, they were surprised that they had not discovered it, but they did hear the 1.5kHz artifact after it was pointed out to them. When Locanthi asked how such an obvious flaw could go undetected, the response was that he "knew what to listen for."

It is ironic that Swedish Radio's extensive listening tests, with over 20,000 separate trials and 60 "expert listeners," failed to detect a flaw immediately apparent to a single listener. Their listening-test methodology—called "hidden reference, double-blind, triple stimulus"—was beyond scientific reproach. Yet a single listener in "unscientific" listening conditions immediately identified this fundamental problem. A paper by Michael Gerzon described later in this report comments peripherally on this issue of double-blind listening-test protocols not revealing the very flaws they are designed to detect.

Swedish Radio had previously concluded that "Both codecs [data compression encoder/decoder systems] have now reached a level of performance where they fulfill the EBU [European Broadcasting Union] requirements for a distribution codec." In other words, the system in which Locanthi discovered the flaws had already been officially proclaimed sonically acceptable as the replacement for AM and FM radio broadcasting—a replacement that will likely be in place for many decades.
Gruß
__________________
Gewerblicher Teilnehmer. Entwicklung, Herstellung und Vertrieb von Audiotechnik. (u.a.)
Jakob ist offline   Mit Zitat antworten
Alt 12.01.2011, 15:41   #17
Dezibel
Altgestein
 
Benutzerbild von Dezibel
 
Registriert seit: 02.06.2007
Beiträge: 13.684
Dezibel ist zur Zeit noch ein unbeschriebenes Blatt
Standard

Zu den oben angeführten Testergebnissen wäre z.B. interessant ob es sich bei den 'klingt gleich' Ergebnissen weitgehend um die selben 'tauben Nüsse' gehandelt hat.

Grüße, dB
__________________
Bad Sound kills good Music ….
Dezibel ist offline   Mit Zitat antworten
Alt 12.01.2011, 15:56   #18
David
Admin und Forumsbetreiber
 
Benutzerbild von David
 
Registriert seit: 15.03.2006
Ort: Wien/Umgebung
Beiträge: 36.852
David hat die Renommee-Anzeige deaktiviert
Standard

Jakob, das hast du schön aufbereitet, danke dafür.


Warum ich diesen ganzen Test nie ernst genommen habe ist die Tatsache, dass die Probanden alle im Raum "irgendwo" gesessen sind (wie bei HiFi-Messen).

Wir wissen alle, wie winzig der Sweetspot bei sehr guten Anlagen ist und ebenfalls, wie entscheidend es ist genau dort zu hören, vor allem wenn es um die Räumlichkeit geht.

Stereo ist nur mal eine Krücke und wenn man dieser Krücke noch einmal Krücken verpasst, dann bleibt so etwas wie eine Berieselungsanlage übrig.

Wie war das wieder mit dem Testdesign?;)

Meine Tests wurden angezweifelt (no na!), da spielten aber wirklich anerkannt gute Komponenten und die Probanden saßen (vorwiegend allein) im Raum und genau im Sweetspot.

Desweiteren kann ich bei den von dir aufgelisteten Ergebnissen nirgends eine eindeutige Tendenz herauslesen. Man hätte diese Ergebnisse genau so gut würfeln können.
__________________
Gruß
David


Einen „Audio-Laien“ erkennt man daran, dass er sich viel mehr mit Audiokomponenten beschäftigt als mit Raumakustik, LS-Aufstellung und Hörplatzwahl.
Auch Personen, die noch wenig Wissen auf diesem Gebiet haben, oder solche, die Rat und Hinweise von Erfahrenen suchen, sind hier richtig.
Meine Auffassung von seriösen Vergleichstests: Klick mich - Die bisherigen Testergebnisse: Klick mich - Private Anlage: Klick mich
Grundsätzlich: Behauptungen die mir bedenklich erscheinen, glaube ich erst, wenn sie mir in Form eines verblindeten Vergleichs bewiesen werden konnten. Das gilt für das was ich selbst zu hören glaube ebenso.
Eine Bitte an Alle: nicht ganze (noch dazu große) Beiträge zitieren und darunter einen kurzen Kommentar schreiben! Besser (beispielsweise): "Volle Zustimmung zu Beitrag 37".
Ganz wichtig: immer beim Thema bleiben!
David ist offline   Mit Zitat antworten
Alt 12.01.2011, 17:33   #19
Reno Barth
Gewerblicher Teilnehmer
 
Registriert seit: 10.11.2008
Beiträge: 6.508
Reno Barth befindet sich auf einem aufstrebenden Ast
Standard

Zitat:
Zitat von Hifiaktiv Beitrag anzeigen
Desweiteren kann ich bei den von dir aufgelisteten Ergebnissen nirgends eine eindeutige Tendenz herauslesen. Man hätte diese Ergebnisse genau so gut würfeln können.

der p Wert steht überall dabei ( http://de.wikipedia.org/wiki/P-Wert )
und natürlich kann man diese Ergebnisse auch würfeln. Schließlich kann man auch bei 6 aus 45 gewinnen.

lg
reno
Reno Barth ist offline   Mit Zitat antworten
Alt 15.01.2011, 13:06   #20
Dragonsage
Erfahrener Benutzer
 
Benutzerbild von Dragonsage
 
Registriert seit: 08.05.2008
Beiträge: 757
Dragonsage befindet sich auf einem aufstrebenden Ast
Standard

Zitat:
Zitat von Jakob Beitrag anzeigen
Wie oft haben wir die ABX-Homepage bereits verlinkt 100mal oder noch öfter??
Ergänzend möchte ich noch, dass ich hier im Forum und auch per PM an David bereits mit aufgezeigt habe (Belegt durch Fachliteraturverweise), dass - so man ohne Training - man nicht in der Lage ist, feine Unterschiede im mehrfachen Wiederholungsfalle nicht mehr heraushören kann.

Daher ist der ABX Test ungeeignet, wenn ein Probant einen solchen Unterschied mehrfach hintereinander heraushören muss, bereits nach wenigen Versuchen nicht mehr unterscheiden kann, obwohl dieser weiterhin da ist.

Allgemein gesagt taugt unter diesen Umständen die ABX Methode nur für recht große Unterschiede. Als sicher gilt mWn um 25% (ist sehr Probantenabhängig), und um diese Größenordnung reden wir hier recht selten...

Solange das nicht verstanden wird, ist eh jede Diskussion hinfällig, sei es MP3 vs CD, irgendwelche Kabel, Verstärker, CDP, selbst Lautsprecher. Unter solchen Bedingungen klingt schnell alles gleich und das kann man hier im Forum oder auf der HP von David auch prima nachlesen.

Ciao DA

PS: Ich habe das schon selbst erlebt und weiß daher, warum ich manche Dinge auch erst trainieren muss, bevor ich diese Unterscheiden kann...
Dragonsage ist offline   Mit Zitat antworten
Alt 16.01.2011, 19:51   #21
Jakob
Erfahrener Benutzer
 
Registriert seit: 17.08.2010
Beiträge: 1.030
Jakob befindet sich auf einem aufstrebenden Ast
Standard

@ dragonsage,

hängt zusätzlich nmE auch von dem verwendeten Testprotokoll ab, gerade das ABX hat sich in unseren Versuchen in dieser Hinsicht als kritisch herausgestellt, weshalb ich es dann auch nicht weiter verfolgt habe.

Allerdings scheint, wie du erwähnst, das Training eine wichtige Rolle zu spielen, denn andere wie z.B. Paul Frindle & Team oder Putzeys sind offenbar auch in ABX-Tests zu erstaunlichen Leistungen fähig.

Ansonsten wird die Bedeutung des Trainings unter konkreten Testbedingungen in den meisten Publikationen ausdrücklich betont, aber es nützt wenig, wenn es keiner liest.

@ hifiaktiv,

Zitat:
Wir wissen alle, wie winzig der Sweetspot bei sehr guten Anlagen ist und ebenfalls, wie entscheidend es ist genau dort zu hören, vor allem wenn es um die Räumlichkeit geht.
Nun übernehme ich einmal deine Rolle und sage, daß ich nur glaubem, was im BT "bewiesen" wurde; gibt es Blindtests aus denen man ablesen kann, daß grundsätzlich alle Unterschiede nur im Sweetspot gehört werden können? :)

Zitat:
Meine Tests wurden angezweifelt (no na!), da spielten aber wirklich anerkannt gute Komponenten und die Probanden saßen (vorwiegend allein) im Raum und genau im Sweetspot
Deine Tests werden eigentlich nicht angezweifelt, wohl aber deine überaus weitreichenden Schlußfolgerungen, die durch die Testergebnisse nicht abgedeckt werden; das das ein Unterschied ist, sollte auf der Hand liegen.

Denn, obwohl du selbst miterlebt hast, wie Testteilnehmer gut hörbare "riesige" Unterschiede im BT plötzlich nach deinem Kriterium nicht mehr detektieren konnten, gibt es immer noch keine Positivkontrolle(n) .

Zitat:
Selbst "geübte" Hörer....
Das ist eine erstaunliche Prognose, denn üblicherweise lassen sich menschliche Leistungen (und das schließt Sinn/Gehirnleistungen ein) durch systematisches Training ziemlich stark verbessern, und die "Hörleistung" läßt sich durch ungewohnte Randbedingungen auch (beinahe würde ich sagen beliebig) verschlechtern.

Zitat:
Desweiteren kann ich bei den von dir aufgelisteten Ergebnissen nirgends eine eindeutige Tendenz herauslesen. Man hätte diese Ergebnisse genau so gut würfeln können.
Reno hat es nochmals geschrieben, jedes Testergebnis ist nur eine mit einer Wahrscheinlichkeit auftretende Möglichkeit, endgültige Wahrheiten gibt es dabei nicht.

Aber, interessanterweise tritt nur bei der Negativkontrolle eine annähernd gleiche Verteilung in den "Besseraussagen" auf, während in den Versuchen, in denen tatsächlich etwas verändert wurde immer eine der beiden Varianten recht eindeutig präferiert wurde.
Das es grundsätzlich schwierig wird bei inkonsistenter Grupperpräferenz wurde bereits beschrieben.

@ Dezibel,

die Testergebnisse wurden zwar auf vielfältige Weise ausgewertet, aber diese Information war leider nicht dabei.

Gruß
__________________
Gewerblicher Teilnehmer. Entwicklung, Herstellung und Vertrieb von Audiotechnik. (u.a.)
Jakob ist offline   Mit Zitat antworten
Alt 16.01.2011, 20:47   #22
David
Admin und Forumsbetreiber
 
Benutzerbild von David
 
Registriert seit: 15.03.2006
Ort: Wien/Umgebung
Beiträge: 36.852
David hat die Renommee-Anzeige deaktiviert
Standard

@Jakob schrieb:
Zitat:
Nun übernehme ich einmal deine Rolle und sage, daß ich nur glaubem, was im BT "bewiesen" wurde; gibt es Blindtests aus denen man ablesen kann, daß grundsätzlich alle Unterschiede nur im Sweetspot gehört werden können? :)
Du wirst mir aber doch hoffentlich zustimmen, dass man außerhalb des Sweetspots bezüglich räumlicher Wiedergabe gar nichts beurteilen kann. Stereo "lebt" von Intensitäts- und Laufzeitunterschieden und die sind außerhalb des Sweetspots "futsch" - bzw. völlig daneben.

Da hilft die ganze schöne Aufbereitung (nach wissenschaftlichen Maßstäben) bei so einem Test nichts, er ist einfach Murks.

Keine Frage, dass meine Tests was die Aufbereitung und Berichterstattung betrifft, "käsig" waren, aber die Art wie getestet wurde, war fehlerfrei.

@dragonsage
Meine Erfahrung mit ABX-Tests ist eine sehr positive. Man kann sie mit sich alleine machen und hin- und herklicken so oft man will.
Eine Ermüdung im Sinne von "nichts mehr hören können" habe ich noch nicht festgestellt. Sogar das Gegenteil ist der Fall, weil man immer wieder zu den kritischen Stellen gehen kann und sich mittels Wiederholung noch genauer darauf konzentrieren kann.

Trotzdem habe ich beispielsweise noch keine 10 aus 10 bei MP3 gegen lossless geschafft.
__________________
Gruß
David


Einen „Audio-Laien“ erkennt man daran, dass er sich viel mehr mit Audiokomponenten beschäftigt als mit Raumakustik, LS-Aufstellung und Hörplatzwahl.
Auch Personen, die noch wenig Wissen auf diesem Gebiet haben, oder solche, die Rat und Hinweise von Erfahrenen suchen, sind hier richtig.
Meine Auffassung von seriösen Vergleichstests: Klick mich - Die bisherigen Testergebnisse: Klick mich - Private Anlage: Klick mich
Grundsätzlich: Behauptungen die mir bedenklich erscheinen, glaube ich erst, wenn sie mir in Form eines verblindeten Vergleichs bewiesen werden konnten. Das gilt für das was ich selbst zu hören glaube ebenso.
Eine Bitte an Alle: nicht ganze (noch dazu große) Beiträge zitieren und darunter einen kurzen Kommentar schreiben! Besser (beispielsweise): "Volle Zustimmung zu Beitrag 37".
Ganz wichtig: immer beim Thema bleiben!
David ist offline   Mit Zitat antworten
Alt 17.01.2011, 15:18   #23
Albus
Erfahrener Benutzer
 
Registriert seit: 16.07.2010
Beiträge: 772
Albus befindet sich auf einem aufstrebenden Ast
Standard

Tag,

gewisse internationale Test-Standards (ITU BS.1116-1, EBU 3276) beziehen neben der reference listening position (centre location) auch die listening area mit ein, d.i. eine Anzahl suboptimaler Plätze, nicht auch die gewissen worst case positions eines Arrangements. Dabei geht es einerseits um die Bestimmung der mehr generellen Performance des EUT, andererseits um die Vermutung, dass die Bedingungen beim realen Nutzer eher den suboptimalen Verhältnissen entsprechen werden. Daher das besondere Interesse an den Modi des off-centre. Vgl.: Bech/Zacharov, Perceptual Audio Evaluation, Seiten 248-259, mit weiteren Literaturhinweisen.

Freundlich
Albus
Albus ist offline   Mit Zitat antworten
Alt 17.01.2011, 16:44   #24
Dragonsage
Erfahrener Benutzer
 
Benutzerbild von Dragonsage
 
Registriert seit: 08.05.2008
Beiträge: 757
Dragonsage befindet sich auf einem aufstrebenden Ast
Standard

Zitat:
Zitat von Hifiaktiv Beitrag anzeigen
Meine Erfahrung mit ABX-Tests ist eine sehr positive. Man kann sie mit sich alleine machen und hin- und herklicken so oft man will.
Eine Ermüdung im Sinne von "nichts mehr hören können" habe ich noch nicht festgestellt. (...)
Trotzdem habe ich beispielsweise noch keine 10 aus 10 bei MP3 gegen lossless geschafft.
Genau das ist das Problem.

MP3 gegen guten 24bit Lossless kann ich i.d.R. auf Anhieb heraus hören. Wenn ich aber versuche, dies mit einem Test festzuzurren, dann klappt das oft nach dem 4. bis 5. Versuch nicht mehr, die Unterschiede festzumachen.

Nun müßtest Du argumentieren: dann sind keine da.

Aber das ist nicht der Fall. Wenn ich a gegen b vergleiche, jeden Tag aber nur einen Vergleich mache, erreiche ich über 14 Tage eine 100% Quote (länger habe ich bieher auch nicht versucht).

Wenn ich die 14 Durchläufe hintereinander mache, ist das Ergebnis ungefähr so gut wie ein Würfelwurf - statistischer Zufall.

Das hat keineswegs mit Ermüdung zu tun, sondern mit der Art, wie Menschen im Allgemeinen hören.

Das ist meine Erfahrung. Das löst der ABX Test nicht, auch wenn dieser in beiden Fällen als Werkzeug genutzt werden kann.

Da dieser aber i.d.R. aber in der Form: 'ich mache X Durchläufe' genutzt wird, funktioniert es nicht, weshalb ich generell ABX Tests misstraue.

Diesen Zusammenhang kann man durch entsprechendes Training durchbrechen, nämlich den Geist auf einen bestimmten Unterschied trainieren und den nach vorne holen in der Aufmerksamkeit. Das ist in meiner Erfahrung keineswegs ein Prozess, den man in kurzer Zeit erreichen kann (z.B. 1-2 Stunden vorher). Aber wenn man an der Stelle ist, dann schafft man die 100% auch in den 14 Durchläufen hintereinander.

Gut, genug eräutert, denn ich schreibe eh regelmäßig das gleiche, nichts neues. Insofern...

Ciao DA
Dragonsage ist offline   Mit Zitat antworten
Alt 17.01.2011, 17:23   #25
David
Admin und Forumsbetreiber
 
Benutzerbild von David
 
Registriert seit: 15.03.2006
Ort: Wien/Umgebung
Beiträge: 36.852
David hat die Renommee-Anzeige deaktiviert
Standard

Michael, dann müsste man laut deiner Theorie die erste Probe immer schaffen.

Mal sehen ob das klappt.
__________________
Gruß
David


Einen „Audio-Laien“ erkennt man daran, dass er sich viel mehr mit Audiokomponenten beschäftigt als mit Raumakustik, LS-Aufstellung und Hörplatzwahl.
Auch Personen, die noch wenig Wissen auf diesem Gebiet haben, oder solche, die Rat und Hinweise von Erfahrenen suchen, sind hier richtig.
Meine Auffassung von seriösen Vergleichstests: Klick mich - Die bisherigen Testergebnisse: Klick mich - Private Anlage: Klick mich
Grundsätzlich: Behauptungen die mir bedenklich erscheinen, glaube ich erst, wenn sie mir in Form eines verblindeten Vergleichs bewiesen werden konnten. Das gilt für das was ich selbst zu hören glaube ebenso.
Eine Bitte an Alle: nicht ganze (noch dazu große) Beiträge zitieren und darunter einen kurzen Kommentar schreiben! Besser (beispielsweise): "Volle Zustimmung zu Beitrag 37".
Ganz wichtig: immer beim Thema bleiben!
David ist offline   Mit Zitat antworten
Antwort

Lesezeichen


Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)
 
Themen-Optionen
Ansicht

Forumregeln
Es ist Ihnen nicht erlaubt, neue Themen zu verfassen.
Es ist Ihnen erlaubt, auf Beiträge zu antworten.
Es ist Ihnen nicht erlaubt, Anhänge hochzuladen.
Es ist Ihnen nicht erlaubt, Ihre Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Gehe zu



Alle Zeitangaben in WEZ +2. Es ist jetzt 22:50 Uhr.


Powered by vBulletin® Version 3.7.1 (Deutsch)
Copyright ©2000 - 2018, Jelsoft Enterprises Ltd.
Powered by vBCMS® 1.2.2 ©2002 - 2018 vbdesigns.de