HiFi Forum  

Zurück   HiFi Forum > SACHTHEMEN > Verblindete Vergleiche

Verblindete Vergleiche Wenn es "um die Wahrheit" geht, führt kein Weg daran vorbei

Antwort
 
Themen-Optionen Ansicht
Alt 13.02.2013, 18:14   #1
Babak
Ich schau nur
 
Benutzerbild von Babak
 
Registriert seit: 31.07.2006
Ort: Wien
Beiträge: 10.949
Babak ist zur Zeit noch ein unbeschriebenes Blatt
Standard Wann ist ein Test aussagekräftig und somit seriös?

Hallo

Auf wiederholten Wunsch mache ich einen eigenen Thread auf.


Ich mache es kurz.

Ich werde nicht wiederkäuen was man alles tun könnte, um einen Test besser zu machen.

Statt dessen beantworte ich die Frage:

Wann liefert ein Vergleichstest aussagekräftige Ergebnisse?


Kurz:



Für eine Bewertung der Ergebnisse müssen folgende Fragen beantwortet werden:



Richtigkeit/Spezifität

1. Wie viele / wie wenige falsch-positive Ergebnisse hat ein Test produziert?

2. Wie viele / wie wenige falsch-negative Ergebnisse hat ein Test produziert?


Genauigkeit/Präzision

Mit welcher Sicherheit kann man sagen, dass die Treffer (also richtig-positiv und richtig-negativ) keine Zufallstreffer sind?



Für eine klare Aussage muss das alles aus den Ergebnisse und Daten ersichtlich und ausgewertet worden sein, die der Test ausspuckt.


Gibt es diese Daten nicht, kann man keine klare und seriöse Aussage machen.



Zusammengefasst:
Ein guter Test liefert gute Daten





LG
Babak




--------------------------------------------------------------------------------------

P.S:
In diesem Thread wünsche ich rein sachliche Auseinandersetzung mit dem Thema.
Persönliche und persönlich gemeinte Beiträge sind unerwünscht, und ich werde David bitten, sie zu entfernen.
__________________
Grüße


Babak

------------------------------
"Alles was wir hören ist eine Meinung, nicht ein Faktum.

Alles was wir sehen ist eine Perspektive, nicht die Wahrheit!"


Marcus Aurelius

Geändert von Babak (13.02.2013 um 18:23 Uhr).
Babak ist offline   Mit Zitat antworten
Alt 13.02.2013, 18:36   #2
Babak
Ich schau nur
 
Benutzerbild von Babak
 
Registriert seit: 31.07.2006
Ort: Wien
Beiträge: 10.949
Babak ist zur Zeit noch ein unbeschriebenes Blatt
Standard

Noch ein Zusatz:

So kann man JEDEN TEST auf seine Qualität prüfen.

Vollkommen egal wie er durchgeführt worden ist.
__________________
Grüße


Babak

------------------------------
"Alles was wir hören ist eine Meinung, nicht ein Faktum.

Alles was wir sehen ist eine Perspektive, nicht die Wahrheit!"


Marcus Aurelius
Babak ist offline   Mit Zitat antworten
Alt 13.02.2013, 19:19   #3
LowIQ
Gast
 
Beiträge: n/a
Standard

Was ist das Ziel Deines threads?

Ein ausagekraeftiger, serioeser Blindtest der sich sozusagen mit allen Wassern gewaschen hat?

Oder...?
  Mit Zitat antworten
Alt 13.02.2013, 20:09   #4
Babak
Ich schau nur
 
Benutzerbild von Babak
 
Registriert seit: 31.07.2006
Ort: Wien
Beiträge: 10.949
Babak ist zur Zeit noch ein unbeschriebenes Blatt
Standard

Hallo

Nein gar nicht.

Streitthema ist ja immer wieder, welcher Testansatz "besser" ist.
  • Langzeit-Tests gegen Kurzzeit-Tests
  • Sehend oder verdeckt
  • Umstecken oder Umschaltbox
  • Pegel ausgeglichen oder nicht
  • Musik oder Testsignale
  • Einzel oder Gruppe
  • Holzohr oder Goldohr
  • Lautsprecher oder Kopfhörer
Und weiß der Kuckuck was noch

Doch ob jetzt diese Absätze wirklich etwas besser machen, konnte bisher keiner schlüssig zeigen.


Da bleibt es bei persönlichen Überzeugungen, dass es jeder richtiger macht als der andere.
Und es kommt unweigerlich zu Streit.


Hier geht es um die Effektivität des Tests.
Wie wirksam sind die Maßnahmen wirklich?


Das wird ja wo anders genauso gemacht:
Erst messen
Dann Verbesserungsmaßnahmen umsetzen
Am Ende nochmal messen um zu sehen, ob es gewirkt hat und besser geworden ist.


Tut man das nicht, kann man nicht sagen, ob und wie gut es geworden ist.


Wenn man etwas erreichen will, muss man doch auch irgendwie bestimmten können, wie gut man unterwegs ist, ob man das Ziel erreicht oder es verfehlt.





Wer ist schon gerne im Blindflug unterwegs?






Das ist nur eine Hilfestellung, damit jeder bewerten kann, wie gut ein Audio Vergleichstest ist, dessen Ergebnisse er vor sich hat.



Da kann sich jeder selber ein Bild machen, was nun welcher Test wirklich bewiesen hat.
Egal ob er einen bestimmten Testansatz aufbaut oder mit Ergebnissen von Tests konfrontiert wird.




Das ist ganz sachlich, da es rein auf Daten und Fakten aufbaut.




Somit sollte es deutlich weniger Befindlichkeiten geben.



LG
Babak
__________________
Grüße


Babak

------------------------------
"Alles was wir hören ist eine Meinung, nicht ein Faktum.

Alles was wir sehen ist eine Perspektive, nicht die Wahrheit!"


Marcus Aurelius
Babak ist offline   Mit Zitat antworten
Alt 13.02.2013, 20:22   #5
Gerd
Gast
 
Beiträge: n/a
Standard

Endlich werden hier Nägel mit Köpfen gemacht.
Und bitte alle unsachlichen Beiträge sofort löschen bzw. deren Verursacher aus dem Thread aussperren!

Gruss

Gerd
  Mit Zitat antworten
Alt 13.02.2013, 21:15   #6
P.Krips
Erfahrener Benutzer
 
Registriert seit: 10.02.2008
Beiträge: 2.179
P.Krips befindet sich auf einem aufstrebenden Ast
Standard

Hallo,

nun könnte man den thread eigentlich schon schließen, denn ein wenig mehr hätte ich mir von einem neuen Thread über das Thema schon erwartet.

Mich persönlich interessiert zwar irgendwie schon, wie man NACH einem Test überprüfen kann, ob der was getaugt hat oder nur für die Tonne taugt.

Die eigentlich für mich - und sicher auch einige Andere - wichtigere Frage ist aber, wie genau muss ein Test aufgesetzt werden, damit er anschließend die Kriterien besteht.

Wenn mal eine konkrete Verfahrensanweisung von dir auf den Tisch gelegt wird, kann man evtl. ernsthaft darüber nachdenken, ob, wann und wo man so einen Test durchführen könnte.

So, wie du das gesamte Thema hier aufziehst, gehe ich ganz stark davon aus, daß dir garnicht daran gelegen ist, daß irgendjemand mal einen wasserdichten Test organisieren könnte.
Dann würde dir ja die Spielwiese abhanden kommen, anschließend den Test genüsslich auseinanderzupflücken zu können.

Sollte ich mich aber - die Hoffnung stirbt zuletzt - diesbezüglich täuschen, dann gibt es nur eine sinnvolle Lösung und Beendigung des Themas:
Du legst konkret ein für die hier in dem Umfeld zu testenden Phaenomene eine 100 % konkrete "to do"-Liste auf den Tisch.
Nebenbeibemerkt hättest du in der Zeit, die du hier mit der Erklärung der Untauglichkeit der bisherigen Test verbracht hast, leicht mehrmals so eine konkrete Verfahrensanweisung niederschreiben können und gut wäre gewesen.

Ich will dir mal ein Beispiel aus meinems pecial-Interestgebiet geben, wie dein Verhalten rüberkommt:

Jemand fragt mich, wie er für einen bestimmten Treiber ein Bassreflexgehäuse abstimmen soll.
Ich sage ihm dann: Du nimmst ein passendes Gehäusevolumen und ein passendes Bassreflexrohr mit passendem Durchmesser und passender Länge.
Wenn er mit diesen Angaben dann die Abstimmung vermurkst, erkläre ich im nachträglich, daß er eigentlich alles falsch gemacht hat, vermeide dabei aber tunlichst, dabei konkret zu sagen, wie er die Fehler hätte vermeiden können.
Irgendwie erinnert mich das an die Methode Babak.

Ich hätte aber auch antworten können:
Für den Treiber x benötigst du für aktiv Gehäusevolumen x, und Bassreflexrohrdurchmesser y und Länge z
Und für Passivbox Gehäusevolumen a, Bassreflexrohrdurchmesser b und Länge c.

Gruß
Peter Krips
P.Krips ist offline   Mit Zitat antworten
Alt 13.02.2013, 21:36   #7
LowIQ
Gast
 
Beiträge: n/a
Standard

Zitat:
Zitat von P.Krips Beitrag anzeigen

Mich persönlich interessiert zwar irgendwie schon, wie man NACH einem Test überprüfen kann, ob der was getaugt hat oder nur für die Tonne taugt.
Auf diese Weise anfangen haette ja doch schon was.......find ich....


OT
Wenn ich ueber die Emotionen in Deinem Beitrag nachdenke schwant mir uebles fuer diesen Thread......
end OT
  Mit Zitat antworten
Alt 13.02.2013, 22:29   #8
Babak
Ich schau nur
 
Benutzerbild von Babak
 
Registriert seit: 31.07.2006
Ort: Wien
Beiträge: 10.949
Babak ist zur Zeit noch ein unbeschriebenes Blatt
Standard

Hallo Peter,

Schade, sachlich beim Thema bist Du nicht geblieben.


Ein Testansatz kann nicht gleich beim ersten Wurf perfekt funktionieren. Der muss entwickelt und bei jeder Runde verbessert werden, bis er richtige Ergebnisse liefern kann.

Genau dazu braucht es eine Beurteilungs-Methode.
Und um diese geht es hier



Oder woher will man wissen, ob die Testmethode passt oder nicht?


Vielleicht liefert ja der bereits vorhandene Tests Ergebnisse, die gut genug sind.
Wer weiß?
Dann spart man sich eine Menge Tüftelei und kann gleich ans Testen gehen.


Daher macht es keinen Sinn, gleich mit einer Anleitung für einen Test anzutanzen.
Der Teufel liegt im Detail der Umsetzung, und das kann man nur Schritt für Schritt ausmerzen.

Es ist ein iterativer Prozess von Planen - Umsetzen - Verifizieren - Verbessern und zurück zur neuen Planung.

Nur einmal Planen , einmal Umsetzen und Schon passt es - das wird es nicht geben.
Und das geht auch nicht am Papier, sondern lauft am praktischen Beispiel.

Zum Planen gab es schon Beiträge
Ebenso zu möglichen Verbesserungen.
Durchgeführt wurde auch schon eine ganze Reihe


Hier geht es um den Verifizierung-Schritt:
Wann weiß man, wie gut der Test ist?


Ich gebe gerne Inputs bei der Gestaltung oder Verbesserung eines Tests.
Dazu muss mal bekannt sein, welche Fragestellung womit beantwortet werden sollte und wie gut/wie schlecht dieser Ansatz war.

Für letzteres ist dieser Thread gedacht.




LG
Babak



PS:
Willst Du für Deine Selbstbau-Gruppe einen Test aufsetzen, mach doch einen Thread auf, und ich gebe Dir gerne Inputs zu Deinen Ansätzen.
Ich bin mir sicher, Leute wie Jakob und andere mit fundiertem Wissen werden auch nicht mit Inputs geizen.
__________________
Grüße


Babak

------------------------------
"Alles was wir hören ist eine Meinung, nicht ein Faktum.

Alles was wir sehen ist eine Perspektive, nicht die Wahrheit!"


Marcus Aurelius

Geändert von Babak (13.02.2013 um 22:34 Uhr).
Babak ist offline   Mit Zitat antworten
Alt 13.02.2013, 22:31   #9
Phototipps.com
Gast
 
Beiträge: n/a
Standard

Zitat:
So, wie du das gesamte Thema hier aufziehst, gehe ich ganz stark davon aus, daß dir garnicht daran gelegen ist, daß irgendjemand mal einen wasserdichten Test organisieren könnte.
Dann würde dir ja die Spielwiese abhanden kommen, anschließend den Test genüsslich auseinanderzupflücken zu können.
Ich würde mir wünschen, wenn in diesem Thread mal auf derlei Dinge verzichtet werden könnte. Ich habe den TO jetzt lange genug genervt mit der Bitte, mal einen eigenen Thread zu eröffnen und jetzt hat er es tatsächlich getan (dafür meinen wirklich vom Herzen kommenden Dank, Babak) - somit sollten wir ihm zumindest die Chance geben, diesen Thread in seinem Sinne zu entwickeln.

Fragen stellen oder Gegenthesen/-theorien aufstellen, diskutieren was die Sinnhaftigkeit betrifft ... all das soll hier jetzt auch Platz haben dürfen.

Also seid bitte fair und schüttet nicht gleich wieder Öl ins abklingende Feuer!

Danke Euch!

Herby
  Mit Zitat antworten
Alt 14.02.2013, 19:51   #10
Mike
Erfahrener Benutzer
 
Benutzerbild von Mike
 
Registriert seit: 19.04.2007
Ort: Hamburg
Alter: 50
Beiträge: 3.238
Mike
Standard

Zitat:
Zitat von Babak Beitrag anzeigen
Hallo

Nein gar nicht.

Streitthema ist ja immer wieder, welcher Testansatz "besser" ist.
  • Langzeit-Tests gegen Kurzzeit-Tests
  • Sehend oder verdeckt
  • Umstecken oder Umschaltbox
  • Pegel ausgeglichen oder nicht
  • Musik oder Testsignale
  • Einzel oder Gruppe
  • Holzohr oder Goldohr
  • Lautsprecher oder Kopfhörer
Und weiß der Kuckuck was noch

Doch ob jetzt diese Absätze wirklich etwas besser machen, konnte bisher keiner schlüssig zeigen.


Da bleibt es bei persönlichen Überzeugungen, dass es jeder richtiger macht als der andere.
Und es kommt unweigerlich zu Streit.


Hier geht es um die Effektivität des Tests.
Wie wirksam sind die Maßnahmen wirklich?


Das wird ja wo anders genauso gemacht:
Erst messen
Dann Verbesserungsmaßnahmen umsetzen
Am Ende nochmal messen um zu sehen, ob es gewirkt hat und besser geworden ist.


Tut man das nicht, kann man nicht sagen, ob und wie gut es geworden ist.


Wenn man etwas erreichen will, muss man doch auch irgendwie bestimmten können, wie gut man unterwegs ist, ob man das Ziel erreicht oder es verfehlt.
Hallo Babak,

nur eine kurze Skizze wie man meiner Ansicht nach weiter vorgehen könnte: Jetzt haben wir die Signifikanzen. Nach meinem Dafürhalten beginnt jetzt die Arbeit am Set. Nämlich herauszufinden, welcher Testaufbau möglichst zuverlässig positive Ergebnisse produziert. Dafür würde ich nach der folgenden Regel vorgehen: "Keep it small and simple." Das bedeutet für mich, möglichst Einzeltests durchzuführen, nicht mehr als zwei Geräte miteinander zu vergleichen, eine Umschaltbox zu benutzen, die Pegel abzugleichen, niemals mehr als eine Variable gleichzeitig zu verändern etc.

Mit dem möglichst einfachen Setting würde ich jetzt versuchen, mutmaßliche intervenierende Variable zu entlarven. Ich würde z.B. bei zwei oder drei unterschiedlichen Pegeln (die zu definieren sind) hören und die Ergebnisse unter Berücksichtigung der statistischen Signifikanz miteinander vergleichen. Dabei würde ich zu den unterschiedlichen Pegeln jeweils eine Testreihe mit mind. 5 Durchgängen an unterschiedlichen Tagen durchführen. Ziel: Maskierungseffekte durch Lautstärke aufdecken. Das Ergebnis mit den meisten Treffern (Signifikanzniveau), wäre für die nächsten Versuche, weitere intervenierende Variable zu entdecken, die Ausgangsbasis. Läge das Signifikanzniveau bspw. bei "mittleren" Pegeln, würde ich die nachfolgenden Versuche bei mittleren Pegeln durchführen.

Dann könnte man z.B. Kurzzeit- und Langzeittests durchführen, hörbares Umschalten vs. unhörbares Umschalten usw.
Freilich ist das alles sehr langwierig, der Aufwand an sich hält sich aber in Grenzen. Dennoch gibt es Unwägbarkeiten: Z.B. ob sich bestimmte Variable so addieren, dass falsch-negative oder falsch-positive Ergebnisse erzeugt werden. Trotzdem kann man meiner Ansicht nach abschätzen, wie welche Variable das Ergebnis in welche Richtung beeinflusst.

Das ist natürlich nur ein Weg. Ich glaube aber, dass er tatsächlich gangbar ist. Ob man sich den "antun" möchte, muss jeder für sich entscheiden.
__________________
Beste Grüße,
Mike

____________________
Hier steht keine Signatur...
Mike ist offline   Mit Zitat antworten
Alt 14.02.2013, 20:02   #11
LowIQ
Gast
 
Beiträge: n/a
Standard

OT
Zufall, die neue Signatur?
End OT
  Mit Zitat antworten
Alt 13.02.2013, 19:29   #12
Blindniete
Gast
 
Beiträge: n/a
Standard

OK, nehmen wir den aktuellen Verstärkertest als Beispiel

2 Testversuche mit jeweils 9 Richtigen von 10 Versuchen.

Die 2 Testversuche sind nicht mit identischen Parametern der Verstärker durchgeführt wurden.

Statistisch ist 9/10 noch raten.
(siehe Expertise von Kammerklang u.A. dort drüben)

M.E. wurden Deine Forderungen erfüllt.

Fazit kann aber trotzdem nur sein:

Der Proband hat bei diesen 2 Verstärkern,
- unter diesen Umständen
- mit dieser Testmusik
- mit dieser Lautstärke
- etc.....

.....keinen sicheren Unterschied erhören können.

Was nun ?
  Mit Zitat antworten
Alt 18.02.2013, 15:58   #13
Jakob
Erfahrener Benutzer
 
Registriert seit: 17.08.2010
Beiträge: 1.030
Jakob befindet sich auf einem aufstrebenden Ast
Standard

Zitat:
Zitat von Blindniete Beitrag anzeigen
OK, nehmen wir den aktuellen Verstärkertest als Beispiel

2 Testversuche mit jeweils 9 Richtigen von 10 Versuchen.

Die 2 Testversuche sind nicht mit identischen Parametern der Verstärker durchgeführt wurden.

Statistisch ist 9/10 noch raten.
(siehe Expertise von Kammerklang u.A. dort drüben)
<snip>
Kammerklangs Tabelle ist irreführend, denn sie basiert auf einem zweiseitigen Test (der aktuelle war hingegen ein einseitiger Test) und die Werte sind an den Grenzen des sog. "Indifferenzbereiches" immer um einen benötigten Treffer zu hoch resp. zu niedrig angegeben. (Vermutlich bedingt durch die Verwendung der Exelfunktion)

D.h. 9 Treffer aus 10 Versuchen sind signifikant (und wären es sogar bei zweiseitigem Test, wenn auf 0.05-Niveau getestet wird); etwas weitergehende Berechnungen zum "10-Durchgänge-Test" finden sich hier:

http://www.hififorum.at/forum/showpo...3&postcount=23

Gruß
__________________
Gewerblicher Teilnehmer. Entwicklung, Herstellung und Vertrieb von Audiotechnik. (u.a.)
Jakob ist offline   Mit Zitat antworten
Antwort

Lesezeichen

Stichworte
aussagekraft, blindtest, ergebnis, falsch, richtig


Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)
 
Themen-Optionen
Ansicht

Forumregeln
Es ist Ihnen nicht erlaubt, neue Themen zu verfassen.
Es ist Ihnen erlaubt, auf Beiträge zu antworten.
Es ist Ihnen nicht erlaubt, Anhänge hochzuladen.
Es ist Ihnen nicht erlaubt, Ihre Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Gehe zu



Alle Zeitangaben in WEZ +2. Es ist jetzt 13:28 Uhr.


Powered by vBulletin® Version 3.7.1 (Deutsch)
Copyright ©2000 - 2018, Jelsoft Enterprises Ltd.
Powered by vBCMS® 1.2.2 ©2002 - 2018 vbdesigns.de