HiFi Forum  

Zurück   HiFi Forum > SACHTHEMEN > Verblindete Vergleiche

Verblindete Vergleiche Wenn es "um die Wahrheit" geht, führt kein Weg daran vorbei

Antwort
 
Themen-Optionen Ansicht
Alt 14.02.2013, 01:47   #16
Reno Barth
Gewerblicher Teilnehmer
 
Registriert seit: 10.11.2008
Beiträge: 6.362
Reno Barth befindet sich auf einem aufstrebenden Ast
Standard

Zitat:
Zitat von Babak Beitrag anzeigen
[*]Die Positivkontrollen
hier seh ich eigentlich das einzige Problem. Für die Positivkontrollen gibts bislang ja keine praktikablen Vorschläge.

lg
reno
Reno Barth ist offline   Mit Zitat antworten
Alt 14.02.2013, 09:25   #17
ruedi01
Abgefahrener Benutzer
 
Benutzerbild von ruedi01
 
Registriert seit: 16.02.2011
Ort: Oberhausen Rheinland
Beiträge: 10.255
ruedi01 befindet sich auf einem aufstrebenden Ast
Standard

...gääähn...

das was Meister Babak hier propagiert hat mit der eigentlichen Testdurchführung nur wenig zu tun, sondern lediglich mit der Auswertung und ist obendrein ein alter Hut...das nennt sich statistische Verifizierung (dazu gibt es allgemeingültige Vorgehensweisen und diese sind für alle möglichen Arten von Blindtests eigentlich immer die selben) und diese gehört zu einem aussagefähigen und seriösen Test nun mal grundlegend dazu...

Viel interessanter und auch im Detail schwieriger zu realisieren, je nach Testsituation und -fragestellung, ist allerdings die technische Umsetzung. Fehler die hier gemacht werden, können durch keine noch so akribische Auswertung wieder wettgemacht werden...

Aber auch dazu gibt es eine Lösung (noch dazu von einem Praktiker!), siehe hier:

http://www.hififorum.at/forum/showth...365#post257365

Gruß

RD
ruedi01 ist gerade online   Mit Zitat antworten
Alt 14.02.2013, 10:05   #18
Reno Barth
Gewerblicher Teilnehmer
 
Registriert seit: 10.11.2008
Beiträge: 6.362
Reno Barth befindet sich auf einem aufstrebenden Ast
Standard

Zitat:
Zitat von ruedi01 Beitrag anzeigen

Aber auch dazu gibt es eine Lösung (noch dazu von einem Praktiker!), siehe hier:

http://www.hififorum.at/forum/showth...365#post257365
fehlen nur noch die doppelte Verblindung und die Kontrollen...

lg
reno
Reno Barth ist offline   Mit Zitat antworten
Alt 14.02.2013, 10:06   #19
Babak
gestört verar*** verlogen
 
Benutzerbild von Babak
 
Registriert seit: 31.07.2006
Ort: Wien
Beiträge: 10.546
Babak ist zur Zeit noch ein unbeschriebenes Blatt
Standard

Hallo Reudi,

bitte poste Inhaltlich zum Thema.

Auch wenne s ein alter Hut ist und zum guten Testdesign gehört:

Es wurde bisher nicht getan

Es bringt nichts, Praktiken umszusetzen, wenn keiner sagen kann, ob diese Praktiken wirklich besser Resultate erbringen.

Etwas zu rein auf Vermutung und Überzeugung hin zu tun ("Verblinden", Umschaltboxen, Pegelausgleich, Langzeit, Kurzzeit, ...), ohne dessen Effekt zu ermitteln ist reiner Aktionismus.

Die Frage ist also
Und was bringt das jetzt?
(Extra für den Praktiker praxisorientiert formuliert).



Also schön, dass Du was verlinkt hast.

Mir ist wichtig, welchen effekt das alles in der Praxis hat.
Theoretische Abschätzungen und Vermutungen, dass man sich vorstellen kann, das sei besser, bringen nichts:

Daher meine pragmatische Frage:
Woher weißt Du, was welche deser dort aufgelisteten Methoden "besser" macht?


Das hat bisher keiner gezeigt.


Somit gibt es weiterhin einen reinen Test-Aktionismus mit bloßen Meinungen, dass der eigene Test besser ist.

Auch das kann eine erfüllende Beschäftigung sein ...




Den nächsten Post bitte wieder zu dem Thema:
Woran erkennt man einen aussagekräftigen Test?
Dem bist Du hier ausgewichen.

Solltest Du etwas zu irgendwelchen Konzepten schreiben wollen, die Deiner Ansicht nach in einen Test gehören, poste das bitte nicht in diesem Thread.

Bei der nächsten Themenverfehlung werde ich David bitten, den Post zu entfernen.


LG
Babak
__________________
“The problem with today’s world is that everyone believes they have the right to express their opinion AND have others listen to it.

The correct statement of individual rights is that everyone has the right to an opinion, but crucially, that opinion can be roundly ignored and even made fun of, particularly if it is demonstrably nonsense!”


— Brian Cox, musician, physicist, and freethinker
Babak ist offline   Mit Zitat antworten
Alt 14.02.2013, 12:21   #20
P.Krips
Erfahrener Benutzer
 
Registriert seit: 10.02.2008
Beiträge: 2.173
P.Krips befindet sich auf einem aufstrebenden Ast
Standard

Hallo,
ich befürchte leider, daß wir uns diesen Thread wirklich sparen können.

Im Grunde genommen wird ja hier nur etwas neu angefangen, was in dieser Form ja nun schon bis zum seit einigen Jahren in mittlerweile einigen einschlägigen Threads behandelt wird.

Und: Wir sind dabei der Beantwortung der Frage, wie ein valider Test denn nach Babaks Meinung auszusehen hat, keinen Millimeter näher gekommen.

Warum wird das nicht praktischer angegangen ?

Es gibt doch mittlerweile einige veranstaltete Tests. Wenn die analysiert werden mit konreten Vorschlägen/Anweisungen, welche Punkte im Ablauf wie geändert gehören, damit es "passt", haben wir doch eine Chance, der eigentlich interessanten Frage näher zu kommen:

Wie sieht ein "wasserdichter" Test aus ?

Das und nur das kann doch Ziel des Ganzen sein, ansonsten kann man sich die ganze Prozedur hier sparen.

Selbst wenn wir nach Monaten oder Jahren dann mal abschließend wissen sollten welche Kriterien so ein Test erfüllen muß, dann ist noch lange nicht klar, wie so ein Test praktisch aussehen muß, damit er die Kriterien erfüllt.

Mit an Sicherheit grenzender Wahrscheinlichkeit werden wir dann folgendes Scenario erleben:
Dann kommt jemand auf die Idee, einen Test so anzulegen, wie er meint das hier dann Vorliegende verstanden zu haben, und wird promt hier wieder zerlegt, weil Babak und Co dann doch wieder ein Haar in der Suppe finden.
Das wird dann eine prima Endlosspirale....

Babak (du Schlingel... ), gebe doch einfach zu, daß du ein heimliches Goldohr bist und den ganzen Zinnober doch nur als Verwirrungsstrategie veranstaltest, um potentielle Ausrichter von Tests so zu verunsichern, daß sich keiner mehr traut, sowas anzugehen.

Wenn du die Kompetenz über Testverfahren tatsächlich hast, wie du es hier schon seit Jahren in den Threads versuchst den Eindruck zu erwecken, dann lege endlich ein valides Testverfahren auf den Tisch für die hier in diesem Umfeld übersichtlichen Fragestellungen:

Gibt es feststellbare Klangunterschiede zwischen CDP's, Verstärkern, Kabeln etc. pp

Könnte es sein, daß dir gar nicht daran gelegen ist, daß es je ein diesbezüglich valides Testverfahren gibt ?
Der Eindruck verhärtet sich in mir mehr und mehr, denn dem vielfach in der Vergangenheit geäusserten Wunsch, mal Butter bei die Fische zu tun, bist du ja bisher erfolgreich aus dem Wege gegangen.

Und wenn mein Eindruck richtig sein sollte, dann stellt sich schon die Frage (wie weiter oben):

Was bezweckst du eigentlich ?

Gruß
Peter Krips

P.S. Da schon diesbezügliche Andeutungen kamen:
Nein, es geht mir nicht um die Person Babak, sondern um das, was er hier schreibt.
P.Krips ist offline   Mit Zitat antworten
Alt 14.02.2013, 12:50   #21
LowIQ
Gast
 
Beiträge: n/a
Standard

Mir scheint es geht um die Aussagekraft von Blindtests im Semiprofessionellen Bereich........

Keine Ahnung was diese Leut so treiben bei deren Tests

http://seanolive.blogspot.be/search?...&max-results=2

Das hier scheint wichtig
Zitat:
Zitat von Reno Barth Beitrag anzeigen
fehlen nur noch die doppelte Verblindung und die Kontrollen...

lg
reno
Zitat:
Zitat von Reno Barth Beitrag anzeigen
hier seh ich eigentlich das einzige Problem. Für die Positivkontrollen gibts bislang ja keine praktikablen Vorschläge.

lg
reno

Geändert von LowIQ (14.02.2013 um 13:50 Uhr).
  Mit Zitat antworten
Alt 14.02.2013, 13:12   #22
David
Admin und Forumsbetreiber
 
Benutzerbild von David
 
Registriert seit: 15.03.2006
Ort: Wien/Umgebung
Beiträge: 33.885
David hat die Renommee-Anzeige deaktiviert
Standard

An die vielen Gäste und ihre gut gemeinten Vorschläge:

Das ist Babaks Thread, somit wird er entscheiden, wer hier mitmachen darf und wer nicht.
Noch hat er keine diesbezügliche Bitte an mich gerichtet und noch wurden keine Forenregeln verletzt, also gibt es keinen Grund für mich zu handeln.

Admin
__________________
Gruß
David


Erst wenn man begriffen hat, dass Raumakustik, Lautsprecheraufstellung und Hörplatzwahl wichtiger sind als die Anlage selbst, hat man die Audiowiedergabe verstanden.
Auch Personen, die noch wenig Wissen auf diesem Gebiet haben, oder solche, die Rat und Hinweise von Erfahrenen suchen, sind hier richtig.
Meine Auffassung von seriösen Vergleichstests: Klick mich - Die bisherigen Testergebnisse: Klick mich - Private Anlage: Klick mich
Grundsätzlich: Behauptungen die mir bedenklich erscheinen, glaube ich erst, wenn sie mir in Form eines verblindeten Vergleichs bewiesen werden konnten. Das gilt für das was ich selbst zu hören glaube ebenso.
Eine Bitte an Alle: nicht ganze (noch dazu große) Beiträge zitieren und darunter einen kurzen Kommentar schreiben! Besser (beispielsweise): "Volle Zustimmung zu Beitrag 37".
David ist offline   Mit Zitat antworten
Alt 14.02.2013, 14:58   #23
Jakob
Erfahrener Benutzer
 
Registriert seit: 17.08.2010
Beiträge: 816
Jakob befindet sich auf einem aufstrebenden Ast
Standard

Zitat:
Zitat von Reno Barth Beitrag anzeigen
hier seh ich eigentlich das einzige Problem. Für die Positivkontrollen gibts bislang ja keine praktikablen Vorschläge.

lg
reno
Hier muß ich doch widersprechen. :)

Eine praktikable "Universalpositivkontrolle" (falls keine andere denkbar erscheint) ist ein breitbandiger Pegelunterschied.
Da in verschiedener Größenordnung machbar hat man sogar Kontrollen auf unterschiedlichen Sensitivitätsniveaus.

Ansonsten liegt die Schwierigkeit in unserem Bereich darin, daß die Testfragestellung eben iaR nicht vorab genau festgelegt wird; wie in früheren Threads bereits diskutiert, reicht für die Hypothese "hört jeder, der nicht taub ist" , jedes bisherige "Testdesign" aus, solange eben die Teilnehmer die Grundbedingung erfüllen.

Im Bereich darunter sieht die Sache anders aus, siehe dazu die Beispiele aus dem "Goriallabteil" .

Bei Audiotests, die sich der Klangqualität über alles nähern wollen, ist es komplexer, weil sich der Unterschied (sofern vorhanden) nicht mehr einfach quantifizieren läßt und die sog. Effektstärke in direktem Zusammenhang mit der Wahrnehmungsfähigkeit des Detektors (eben des Hörers) steht und diese sich je nach Testdesign ändert (ändern kann) .

Aus bekannten Gründen läßt sich die Teststärke (1 - Beta) nicht angegeben, aber man kann sie für angenommene Fälle berechnen, bzw. aus angenommenen Effektstärken und Erkennungswahrscheinlichkeiten die jeweils benötigten Minimalduchgangszahlen berechnen, bei der die beiden Fehlerwahrscheinlichkeiten in einem halbwegs ausgewogenen Verhältnis stehen.

Ein Beispiel hierfür sind die 10 Versuche bei 9 benötigten Treffern für ein signifikantes Ergebnis auf 0.05-Niveau. Die tatsächliche Wahrscheinlichkeit für ein zufälliges Ergebnis liegt tatsächlich aber bereits bei nur 0.0107 , d.h. deutlich darunter.

Allerdings ist das nur dann ein faires Szenario, wenn die Erkennungswahrscheinlichkeit der Testperson bei mind. 0.95 liegt, denn in diesem Fall ist die Wahrscheinlichkeit weniger als 9 Treffer zu erzielen nur p=0.086 .

Deshalb gab damals Les Leventhal die Empfehlung für diesen zeitsparenden Fall nur für wirklich gut trainierte Versuchspersonen aus.

Liegt die Erkennungswahrscheinlichkeit des Hörers "nur" bei 90%, dann beträgt die Wahrscheinlichkeit weniger als 9 Treffer zu erzielen bereits bei p=0.264, bei 80%iger Erkennungswahrscheinlicheit des Hörers wäre es bereits p=0.624 .

D.h. welches Risiko noch akzeptabel erscheint, hängt von der Beantwortung der Frage ab, welchen Unterschied (oder welche Erkennungswahrscheinlichkeit) man noch für praxisrelevant hält.

Gruß
__________________
Gewerblicher Teilnehmer. Entwicklung, Herstellung und Vertrieb von Audiotechnik. (u.a.)
Jakob ist offline   Mit Zitat antworten
Alt 14.02.2013, 15:45   #24
Reno Barth
Gewerblicher Teilnehmer
 
Registriert seit: 10.11.2008
Beiträge: 6.362
Reno Barth befindet sich auf einem aufstrebenden Ast
Standard

Zitat:
Zitat von Jakob Beitrag anzeigen
Bei Audiotests, die sich der Klangqualität über alles nähern wollen, ist es komplexer, weil sich der Unterschied (sofern vorhanden) nicht mehr einfach quantifizieren läßt und die sog. Effektstärke in direktem Zusammenhang mit der Wahrnehmungsfähigkeit des Detektors (eben des Hörers) steht und diese sich je nach Testdesign ändert (ändern kann) .
genau. daher meine Sorge hinsichtlich der Positivkontrolle.

lg
reno
Reno Barth ist offline   Mit Zitat antworten
Alt 14.02.2013, 15:56   #25
Babak
gestört verar*** verlogen
 
Benutzerbild von Babak
 
Registriert seit: 31.07.2006
Ort: Wien
Beiträge: 10.546
Babak ist zur Zeit noch ein unbeschriebenes Blatt
Standard

Ruedi,

genau solche Postings will ich hier nicht haben.

Wenn Du das alles nicht lesen willst, gibt es andere Threads, die Dir sicher besser gefallen.

Du bist hiermit ausgeschlossen.

@David:
Könntest Du bitte Ruedis Post hier löschen?

Danke

LG
Babak
__________________
“The problem with today’s world is that everyone believes they have the right to express their opinion AND have others listen to it.

The correct statement of individual rights is that everyone has the right to an opinion, but crucially, that opinion can be roundly ignored and even made fun of, particularly if it is demonstrably nonsense!”


— Brian Cox, musician, physicist, and freethinker
Babak ist offline   Mit Zitat antworten
Alt 14.02.2013, 16:02   #26
HOMMEgrün
Gast
 
Beiträge: n/a
Standard

Da machen sich mit Reno und Jakob 2 Gewerbliche schwere Gedanken, warum Blindtests niemals Bestand haben können. ;-)

Sorry, Babak, das ist dein Nebelkerzen-Thread, bin schon wieder weg.

Grüni
  Mit Zitat antworten
Alt 14.02.2013, 16:14   #27
David
Admin und Forumsbetreiber
 
Benutzerbild von David
 
Registriert seit: 15.03.2006
Ort: Wien/Umgebung
Beiträge: 33.885
David hat die Renommee-Anzeige deaktiviert
Standard

Zitat:
@David:
Könntest Du bitte Ruedis Post hier löschen?
Wird gemacht.
__________________
Gruß
David


Erst wenn man begriffen hat, dass Raumakustik, Lautsprecheraufstellung und Hörplatzwahl wichtiger sind als die Anlage selbst, hat man die Audiowiedergabe verstanden.
Auch Personen, die noch wenig Wissen auf diesem Gebiet haben, oder solche, die Rat und Hinweise von Erfahrenen suchen, sind hier richtig.
Meine Auffassung von seriösen Vergleichstests: Klick mich - Die bisherigen Testergebnisse: Klick mich - Private Anlage: Klick mich
Grundsätzlich: Behauptungen die mir bedenklich erscheinen, glaube ich erst, wenn sie mir in Form eines verblindeten Vergleichs bewiesen werden konnten. Das gilt für das was ich selbst zu hören glaube ebenso.
Eine Bitte an Alle: nicht ganze (noch dazu große) Beiträge zitieren und darunter einen kurzen Kommentar schreiben! Besser (beispielsweise): "Volle Zustimmung zu Beitrag 37".
David ist offline   Mit Zitat antworten
Alt 14.02.2013, 16:15   #28
Reno Barth
Gewerblicher Teilnehmer
 
Registriert seit: 10.11.2008
Beiträge: 6.362
Reno Barth befindet sich auf einem aufstrebenden Ast
Standard

Zitat:
Zitat von HOMMEgrün Beitrag anzeigen
Da machen sich mit Reno und Jakob 2 Gewerbliche schwere Gedanken, warum Blindtests niemals Bestand haben können. ;-)

wenn man die Argumente nicht versteht, postet man halt schnell ein bisserl ad hominem, gell?

davon abgesehen: als Gewerblicher sind mir z.B. die Unterschiede zwischen zwei blameless Transen völlig wurscht.

lg
reno
Reno Barth ist offline   Mit Zitat antworten
Alt 14.02.2013, 16:56   #29
HOMMEgrün
Gast
 
Beiträge: n/a
Standard

Zitat:
Zitat von Reno Barth Beitrag anzeigen
wenn man die Argumente nicht versteht, postet man halt schnell ein bisserl ad hominem, gell?
Deine "Argumente" wollen Blindtests von David diskreditieren, die sind nämlich geschäftsschädigend. ;-)
Trotzdem lese ich gerne von dir.

Grüni
  Mit Zitat antworten
Alt 14.02.2013, 17:31   #30
Reno Barth
Gewerblicher Teilnehmer
 
Registriert seit: 10.11.2008
Beiträge: 6.362
Reno Barth befindet sich auf einem aufstrebenden Ast
Standard

Zitat:
Zitat von HOMMEgrün Beitrag anzeigen
Deine "Argumente" wollen Blindtests von David diskreditieren, die sind nämlich geschäftsschädigend. ;-)
i
das ist doch das Gleiche in grün. Wenn man meint, jemandem niedrige Motive unterstellen zu können, braucht man nicht mehr darauf einzugehen, WAS er sagt.

Machen wir's doch mal umgekehrt: Kannst du mir ein Argument nennen, warum ausgerechnet bei Audioblindtests doppelte Verblindung und Kontrollen überflüssig sein sollen?

lg
reno
Reno Barth ist offline   Mit Zitat antworten
Antwort

Lesezeichen

Stichworte
aussagekraft, blindtest, ergebnis, falsch, richtig


Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)
 
Themen-Optionen
Ansicht

Forumregeln
Es ist Ihnen nicht erlaubt, neue Themen zu verfassen.
Es ist Ihnen erlaubt, auf Beiträge zu antworten.
Es ist Ihnen nicht erlaubt, Anhänge hochzuladen.
Es ist Ihnen nicht erlaubt, Ihre Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Gehe zu



Alle Zeitangaben in WEZ +2. Es ist jetzt 12:18 Uhr.


Powered by vBulletin® Version 3.7.1 (Deutsch)
Copyright ©2000 - 2017, Jelsoft Enterprises Ltd.
Powered by vBCMS® 1.2.2 ©2002 - 2017 vbdesigns.de