das was Meister Babak hier propagiert hat mit der eigentlichen Testdurchführung nur wenig zu tun, sondern lediglich mit der Auswertung und ist obendrein ein alter Hut...das nennt sich statistische Verifizierung (dazu gibt es allgemeingültige Vorgehensweisen und diese sind für alle möglichen Arten von Blindtests eigentlich immer die selben) und diese gehört zu einem aussagefähigen und seriösen Test nun mal grundlegend dazu...
Viel interessanter und auch im Detail schwieriger zu realisieren, je nach Testsituation und -fragestellung, ist allerdings die technische Umsetzung. Fehler die hier gemacht werden, können durch keine noch so akribische Auswertung wieder wettgemacht werden...
Aber auch dazu gibt es eine Lösung (noch dazu von einem Praktiker!), siehe hier:
Auch wenne s ein alter Hut ist und zum guten Testdesign gehört:
Es wurde bisher nicht getan
Es bringt nichts, Praktiken umszusetzen, wenn keiner sagen kann, ob diese Praktiken wirklich besser Resultate erbringen.
Etwas zu rein auf Vermutung und Überzeugung hin zu tun ("Verblinden", Umschaltboxen, Pegelausgleich, Langzeit, Kurzzeit, ...), ohne dessen Effekt zu ermitteln ist reiner Aktionismus.
Die Frage ist also Und was bringt das jetzt?
(Extra für den Praktiker praxisorientiert formuliert).
Also schön, dass Du was verlinkt hast.
Mir ist wichtig, welchen effekt das alles in der Praxis hat.
Theoretische Abschätzungen und Vermutungen, dass man sich vorstellen kann, das sei besser, bringen nichts:
Daher meine pragmatische Frage: Woher weißt Du, was welche deser dort aufgelisteten Methoden "besser" macht?
Das hat bisher keiner gezeigt.
Somit gibt es weiterhin einen reinen Test-Aktionismus mit bloßen Meinungen, dass der eigene Test besser ist.
Auch das kann eine erfüllende Beschäftigung sein ...
Den nächsten Post bitte wieder zu dem Thema: Woran erkennt man einen aussagekräftigen Test?
Dem bist Du hier ausgewichen.
Solltest Du etwas zu irgendwelchen Konzepten schreiben wollen, die Deiner Ansicht nach in einen Test gehören, poste das bitte nicht in diesem Thread.
Bei der nächsten Themenverfehlung werde ich David bitten, den Post zu entfernen.
LG
Babak
Grüße
:S
Babak
------------------------------ "Alles was wir hören ist eine Meinung, nicht ein Faktum.
Alles was wir sehen ist eine Perspektive, nicht die Wahrheit!"
Hallo,
ich befürchte leider, daß wir uns diesen Thread wirklich sparen können.
Im Grunde genommen wird ja hier nur etwas neu angefangen, was in dieser Form ja nun schon bis zum :K: seit einigen Jahren in mittlerweile einigen einschlägigen Threads behandelt wird.
Und: Wir sind dabei der Beantwortung der Frage, wie ein valider Test denn nach Babaks Meinung auszusehen hat, keinen Millimeter näher gekommen.
Warum wird das nicht praktischer angegangen ?
Es gibt doch mittlerweile einige veranstaltete Tests. Wenn die analysiert werden mit konreten Vorschlägen/Anweisungen, welche Punkte im Ablauf wie geändert gehören, damit es "passt", haben wir doch eine Chance, der eigentlich interessanten Frage näher zu kommen:
Wie sieht ein "wasserdichter" Test aus ?
Das und nur das kann doch Ziel des Ganzen sein, ansonsten kann man sich die ganze Prozedur hier sparen.
Selbst wenn wir nach Monaten oder Jahren dann mal abschließend wissen sollten welche Kriterien so ein Test erfüllen muß, dann ist noch lange nicht klar, wie so ein Test praktisch aussehen muß, damit er die Kriterien erfüllt.
Mit an Sicherheit grenzender Wahrscheinlichkeit werden wir dann folgendes Scenario erleben:
Dann kommt jemand auf die Idee, einen Test so anzulegen, wie er meint das hier dann Vorliegende verstanden zu haben, und wird promt hier wieder zerlegt, weil Babak und Co dann doch wieder ein Haar in der Suppe finden.
Das wird dann eine prima Endlosspirale....
Babak (du Schlingel...;) ), gebe doch einfach zu, daß du ein heimliches Goldohr bist und den ganzen Zinnober doch nur als Verwirrungsstrategie veranstaltest, um potentielle Ausrichter von Tests so zu verunsichern, daß sich keiner mehr traut, sowas anzugehen.
Wenn du die Kompetenz über Testverfahren tatsächlich hast, wie du es hier schon seit Jahren in den Threads versuchst den Eindruck zu erwecken, dann lege endlich ein valides Testverfahren auf den Tisch für die hier in diesem Umfeld übersichtlichen Fragestellungen:
Gibt es feststellbare Klangunterschiede zwischen CDP's, Verstärkern, Kabeln etc. pp
Könnte es sein, daß dir gar nicht daran gelegen ist, daß es je ein diesbezüglich valides Testverfahren gibt ?
Der Eindruck verhärtet sich in mir mehr und mehr, denn dem vielfach in der Vergangenheit geäusserten Wunsch, mal Butter bei die Fische zu tun, bist du ja bisher erfolgreich aus dem Wege gegangen.
Und wenn mein Eindruck richtig sein sollte, dann stellt sich schon die Frage (wie weiter oben):
Was bezweckst du eigentlich ?
Gruß
Peter Krips
P.S. Da schon diesbezügliche Andeutungen kamen:
Nein, es geht mir nicht um die Person Babak, sondern um das, was er hier schreibt.
An die vielen Gäste und ihre gut gemeinten Vorschläge:
Das ist Babaks Thread, somit wird er entscheiden, wer hier mitmachen darf und wer nicht.
Noch hat er keine diesbezügliche Bitte an mich gerichtet und noch wurden keine Forenregeln verletzt, also gibt es keinen Grund für mich zu handeln.
Admin
Gruß
David
WEBSEITE HiFiAKTIV: Klick mich Einen "Audio-Laien" erkennt man daran, dass er sich viel mehr mit Audiokomponenten beschäftigt als mit Raumakustik, LS-Aufstellung und Hörplatzwahl. Auch Personen, die noch wenig Wissen auf diesem Gebiet haben, oder solche, die Rat und Hinweise von Erfahrenen suchen, sind hier richtig. Meine Auffassung von seriösen Vergleichstests:Klick mich - Die bisherigen Testergebnisse:Klick mich - Private Anlage: Klick mich - Wann gefällt mir ein Musikstück? - Klick mich Grundsätzlich: Behauptungen die mir bedenklich erscheinen, glaube ich nur, wenn sie messtechnisch nachvollziehbar sind und wenn sie mir in Form eines verblindeten Vergleichs bewiesen werden konnten. Eine Bitte an Alle: nicht ganze (noch dazu große) Beiträge zitieren und darunter einen kurzen Kommentar schreiben! Besser (beispielsweise): "Volle Zustimmung zu Beitrag 37". Wichtig: zumindest versuchen, beim Thema bleiben!
hier seh ich eigentlich das einzige Problem. Für die Positivkontrollen gibts bislang ja keine praktikablen Vorschläge.
lg
reno
Hier muß ich doch widersprechen. :)
Eine praktikable "Universalpositivkontrolle" (falls keine andere denkbar erscheint) ist ein breitbandiger Pegelunterschied.
Da in verschiedener Größenordnung machbar hat man sogar Kontrollen auf unterschiedlichen Sensitivitätsniveaus.
Ansonsten liegt die Schwierigkeit in unserem Bereich darin, daß die Testfragestellung eben iaR nicht vorab genau festgelegt wird; wie in früheren Threads bereits diskutiert, reicht für die Hypothese "hört jeder, der nicht taub ist" , jedes bisherige "Testdesign" aus, solange eben die Teilnehmer die Grundbedingung erfüllen.
Im Bereich darunter sieht die Sache anders aus, siehe dazu die Beispiele aus dem "Goriallabteil" .
Bei Audiotests, die sich der Klangqualität über alles nähern wollen, ist es komplexer, weil sich der Unterschied (sofern vorhanden) nicht mehr einfach quantifizieren läßt und die sog. Effektstärke in direktem Zusammenhang mit der Wahrnehmungsfähigkeit des Detektors (eben des Hörers) steht und diese sich je nach Testdesign ändert (ändern kann) .
Aus bekannten Gründen läßt sich die Teststärke (1 - Beta) nicht angegeben, aber man kann sie für angenommene Fälle berechnen, bzw. aus angenommenen Effektstärken und Erkennungswahrscheinlichkeiten die jeweils benötigten Minimalduchgangszahlen berechnen, bei der die beiden Fehlerwahrscheinlichkeiten in einem halbwegs ausgewogenen Verhältnis stehen.
Ein Beispiel hierfür sind die 10 Versuche bei 9 benötigten Treffern für ein signifikantes Ergebnis auf 0.05-Niveau. Die tatsächliche Wahrscheinlichkeit für ein zufälliges Ergebnis liegt tatsächlich aber bereits bei nur 0.0107 , d.h. deutlich darunter.
Allerdings ist das nur dann ein faires Szenario, wenn die Erkennungswahrscheinlichkeit der Testperson bei mind. 0.95 liegt, denn in diesem Fall ist die Wahrscheinlichkeit weniger als 9 Treffer zu erzielen nur p=0.086 .
Deshalb gab damals Les Leventhal die Empfehlung für diesen zeitsparenden Fall nur für wirklich gut trainierte Versuchspersonen aus.
Liegt die Erkennungswahrscheinlichkeit des Hörers "nur" bei 90%, dann beträgt die Wahrscheinlichkeit weniger als 9 Treffer zu erzielen bereits bei p=0.264, bei 80%iger Erkennungswahrscheinlicheit des Hörers wäre es bereits p=0.624 .
D.h. welches Risiko noch akzeptabel erscheint, hängt von der Beantwortung der Frage ab, welchen Unterschied (oder welche Erkennungswahrscheinlichkeit) man noch für praxisrelevant hält.
Gruß
Gewerblicher Teilnehmer. Entwicklung, Herstellung und Vertrieb von Audiotechnik. (u.a.)
Bei Audiotests, die sich der Klangqualität über alles nähern wollen, ist es komplexer, weil sich der Unterschied (sofern vorhanden) nicht mehr einfach quantifizieren läßt und die sog. Effektstärke in direktem Zusammenhang mit der Wahrnehmungsfähigkeit des Detektors (eben des Hörers) steht und diese sich je nach Testdesign ändert (ändern kann) .
genau. daher meine Sorge hinsichtlich der Positivkontrolle.
@David:
Könntest Du bitte Ruedis Post hier löschen?
Wird gemacht.
Gruß
David
WEBSEITE HiFiAKTIV: Klick mich Einen "Audio-Laien" erkennt man daran, dass er sich viel mehr mit Audiokomponenten beschäftigt als mit Raumakustik, LS-Aufstellung und Hörplatzwahl. Auch Personen, die noch wenig Wissen auf diesem Gebiet haben, oder solche, die Rat und Hinweise von Erfahrenen suchen, sind hier richtig. Meine Auffassung von seriösen Vergleichstests:Klick mich - Die bisherigen Testergebnisse:Klick mich - Private Anlage: Klick mich - Wann gefällt mir ein Musikstück? - Klick mich Grundsätzlich: Behauptungen die mir bedenklich erscheinen, glaube ich nur, wenn sie messtechnisch nachvollziehbar sind und wenn sie mir in Form eines verblindeten Vergleichs bewiesen werden konnten. Eine Bitte an Alle: nicht ganze (noch dazu große) Beiträge zitieren und darunter einen kurzen Kommentar schreiben! Besser (beispielsweise): "Volle Zustimmung zu Beitrag 37". Wichtig: zumindest versuchen, beim Thema bleiben!
Deine "Argumente" wollen Blindtests von David diskreditieren, die sind nämlich geschäftsschädigend. ;-)
i
das ist doch das Gleiche in grün. Wenn man meint, jemandem niedrige Motive unterstellen zu können, braucht man nicht mehr darauf einzugehen, WAS er sagt.
Machen wir's doch mal umgekehrt: Kannst du mir ein Argument nennen, warum ausgerechnet bei Audioblindtests doppelte Verblindung und Kontrollen überflüssig sein sollen?
Kommentar