Verblindeter Test, Röhren CD-Player gegen Audio-PC

[schauki]

Meinst du nicht, dass es von solchen "windigen" Hinweisen über die Hörbarkeit div. Dinge nicht schon genug gegeben hat?

Aber wenn du sagst, dass dieser Test auch nur dafür gut war, also praktisch nichts, dann okay.
Nur so ist mir das lt. Jakob nicht unbedingt vorgekommen.

mfg

[matadoerle]

Aber wenn du sagst, dass dieser Test auch nur dafür gut war, also praktisch nichts, dann okay.

Weder ich noch Jakob halten das Ergebnis dieses Tests für "nichts"; würde ihm das Ergebnis nicht ausreichen, hätte er vielleicht mehr Aufwand getrieben.
Es geht hier im Forum alleine um die Frage, welche Schlüsse man aus dem Test ziehen kann und als allgemeine Wahrheit zu verkünden .. und da habe ich von Jakob nichts dergleichen gelesen.

[Unregistriert]

Felix, du musst dich dafür nicht rechtfertigen.

Das was du "nicht" zusammengebracht hast, dass hätte auch sonst niemand auf dieser Welt gekonnt.

Ja das mag sein, das ändert aber nichts an den damaligen suboptimalen Testbedingungen.

Ich bin ohnehin der Meinung, dass die A/B Zuordnung nicht ordentlich funktionieren kann.

Denn mit dieser Methode muss sich das Gehirn auf 2Sachen konzentrieren, nämlich Zuordnung A/B und Unterschiede wahrnehmen.

Ich denke es funktioniert besser wenn nur auf Unterschiede hingearbeitet wird, also Ja/Nein, dann kann genauso A od. B wahllos geschalten werden, also 1 Durchgang entweder gleiche Geräte geschalten, oder eben auf das andere umgeschalten, das 20 mal ergibt die gleiche 50/50 Chance, nur dass man nicht auf A/B fixiert ist, was auch nicht gefragt ist.

Das bezieht sich aber auf Unterschiede, die auch wirklich hörbar sind.

Gruß, Felix

[David]

Leute, nehmt doch die Sache einmal so wie sie ist: beim direkten Umschalten ist sowohl zwischen digitalen Abspielgeräten, als auch zwischen Verstärkern (alle Geräte mit längst üblichen, guten Messwerten) kein Unterschied hörbar.

Das ist keine Vermutung, das ist Fakt!

Wer jetzt aufschreit, dass das nicht stimmt, der möge bitte das Gegenteil beweisen. Ich wünsche viel Glück dabei.

Die "Begeisterten" meinen aber, dass man durch Hörtraining und im Rahmen von Langzeittests doch zu anderen Ergebnissen kommen kann.

Obwohl technisch alles dagegen spricht, sollte man das einmal gelten lassen.

Aber wieso wird nie etwas davon glaubhaft bewiesen? Man kann doch nicht Jahre/Jahrzehnte hunderte Dinge behaupten, ohne jemals etwas davon zu beweisen!

Oder doch?:Y

[MusikistTrumpf]

Es ist auch nicht bewiesen, das es keinen Unterschied gibt. Das ist nun einmal auch Fakt. Auch hier ist grosser Glaube und felsenfeste Überzeugung unterwegs, Es genügt genausowenig zu sagen "ich höre da aber nichts" wie "ich höre da etwas".

Beide Seiten sind auf gleich dünnem Eis unterwegs.

[David]

Es ist auch nicht bewiesen, das es keinen Unterschied gibt. Das ist nun einmal auch Fakt.

Wie viele Versuche noch?

[Reno Barth]

Die "Begeisterten" meinen aber, dass man durch Hörtraining und im Rahmen von Langzeittests doch zu anderen Ergebnissen kommen kann.

Und was macht diese Vermutung zum Faktum? Nennt mir doch bitte einen einzigen Test, der methodisch auch nur simpelsten Anforderungen genügt. Dass die Methode nämlich das Ergebnis eines Tests deutlich beeinflussen kann, ist auch Fakt.

lg
reno

[MusikistTrumpf]

Wie viele Versuche noch?

Ich versuche gar nichts David, ich schreibe nur, dass es für mich von beiden Seiten keine Beweise gibt, dass ich überzeugt bin. Glauben können wir alle viel. Das ist für mich Fakt.

[Blindniete]

mein Senf dazu:

wenn die Ich-höre-es-doch-Prosa Berichterstatter nur 10 % dessen einhalten würden, was man von anderen Tests verlangt, gäbe es gar keine Hörberichts-Prosa mehr.....

Ein paar Hörer haben sich an einer Anlage etwas angehört, und keinen Unterschied erkennen können.

Nicht mehr und nicht weniger.

Ein Anspruch auf Allgemeingültigkeit ist niemals daraus geschlussfolgert wurden.

Wer das Ergebnis anzweifelt, mag selber einen Test machen.

Punkt, Schluss, Aus.....

Schönen Abend noch

Frank

[schauki]

Hallo!

Und was macht diese Vermutung zum Faktum? Nennt mir doch bitte einen einzigen Test, der methodisch auch nur simpelsten Anforderungen genügt. Dass die Methode nämlich das Ergebnis eines Tests deutlich beeinflussen kann, ist auch Fakt.

Da nehmen sich Skeptiker und Begeisterte aber nichts.
Nehmen wir also vorerst mal die beiden Behauptungen als gleichwertig an.

Was wäre der nächste (einfache) Schritt?
Mit einer Referenz vergleichen. Also man schaut sich die messtechnischen Unterschiede an, und vergleicht das mit den Hörschwellen.

Sieht man dort, dass es um Faktor 10-1000 unter diesen liegt, ist die Wahrscheinlichkeit höher, dass da nichts hörbares ist.

Traut man dem ganzen nicht und will beweisen, dass doch was hörbares da ist, dann muss man eben den schwierigen Weg gehen und einen aufwändigen Test machen.

mfg

[Reno Barth]

Also man schaut sich die messtechnischen Unterschiede an, und vergleicht das mit den Hörschwellen.

fragt sich halt, welche Hörschwellen wovon. Beim Messen werden ja üblicherweise keine Schallfelder verglichen. Und schon gar nicht mit Musiksignal.

lg
reno

[schauki]

fragt sich halt, welche Hörschwellen wovon. Beim Messen werden ja üblicherweise keine Schallfelder verglichen. Und schon gar nicht mit Musiksignal.

Wie gesagt das ist der nächste Schritt den ich machen würde. Ab gesehen davon dass für machne Dinge spezielle Testsignale wesentlich(!!!) höhere Detektionsraten ermöglichen als Musik.

Oder eben eine Differenzmessung machen und schauen was dabei raus kommt.
Das ist alles viel weniger aufwändig als ein valider Test.

Aber das ist zumidnest mehr als gar nichts machen und weiter behaupten, nicht wahr?

mfg

[KSTR]

Welche sollte denn nicht auffallen, und warum sollte sie nicht auffallen?
Das ist Jakob "live":D : "Komplexe Klangstrukturen sind "mal eben so" (anscheinend) garnicht zu erfassen. Dazu muss man eine innere Ruhe aufbauen, und die "Kette" über Monate analysieren. Das geht natürlich nur in absoluter Isolation.

Ersetzte Monate durch immer wieder mal 30min, und alles eben nicht vorsätzlich konzentriert, "mit Gewalt" analysieren wollen, und dann trifft es in meiner Realität zu ... und wir sind hier nicht bei wünsch dir was, sondern bei iss so! (wie der Berliner sagt) :)

Ein Beispiel : David hatte mal einen Song vorgestellt, wo es angeblich zerrte im Gesang oder auch nicht (Stimme sei halt so), unklar auf jeden Fall. Hab ich mir angehört (zuhause, gemütlich) mit dem Vorwissen und Vorsatz im guten Glauben, das würde man ja sofort hören.
-- Nix war (klingt doch voll OK), mehrmals später auch nicht --
Das ist jetzt nicht so weit, von der Testsituation, entfernt von Davids Tests, alles eigentlich unverbindlicher noch, und mit mehr Vorwissen bzw Bias was einen erwarten würde (so beim Klippel-Test).

Dann ein paar Tage später, mal ein paar Songs des Albums am Stück hörend "einfach so, nebenher, in leeren Gedanken versunken" wegen der Musik... zack (*hirnhälfte umschalt*), ja klar stimmt, da hat es gezerrt... nochmal angehört... aha jetzt, AkustikBass hatte grad brutal Pegel, zuviel zusammen mit dem lauten Gesang, ein schneller PeakLimiter/Softclipper hat schon leicht gestutzt, blockweise immer mehrere Perioden lange, Gesang angezerrt im Rhythmus des Basssignals. War dann auch so zu sehen, im Editor, wo man's dann wusste...

Und sowas passiert zig mal... irgendwann, und bei mir wichtigeren Dingen als ein bischen Klirr. Seitdem bin ich vorsichtig was ich wieweit und wann meine "erhören" zu können und was nicht, erst recht für andere...

Und ja, zum N+1.ten mal, es sind "keine essentiellen" Details, aber deren Bewertung ist in einem Hobby nicht zwingend rational, das "Reinsteigern in Details" ist doch grad Kick daran... oder etwa nicht? Wenn es die Detailgruppe "feinste Klangunterschiede" nicht ist, dann halt andere...

[Jakob]

Konkrete Besipiele:
Nehmen wir an 100 Testberichte und 50 gibts als Ergebnis "nicht hörbar", 50 gibts als Ergebnis "hörbar".

Wobei das schlicht eine falsche Prämisse ist, denn gäbe es gleich viele mit Ergebnis "nicht hörbar" wie mit Ergebnis "hörbar" würde wir vermutlich diese Diskussionen nicht führen (müssen).

Eher könnte man sagen, es gäbe 100 Tests, davon 85 mit dem "Ergebnis nicht hörbar" der Rest mit dem Ergebnis "hörbar" .

Gefühlte 100% - der Kritik erwischt aber nur die "nicht hörbar" Tests.
Das zeigt, dass es eben nicht ums Testdesign geht sondern rein ums Ergebnis.

Da es eben erheblich mehr Tests aus der "unhörbar" Kategorie gibt, trügt das Gefühl ein bißchen, es sind nur 85% der Kritik , die diese Testkategorie betrifft; auch hier im Forum kann man nachlesen, daß ich methodisch durchaus auch an den anderen Tests Kritik übe, seien es Pras/Guastavino, Sturm oder auch der Detmolder DSD/PCM-Test.

Zusätzlich liegt es auch an den (häufig von anderen Leuten) mit Testergebnissen verknüpften kategorischen Schlußfolgerungen, die dann iaR überhaupt nicht durch den konkreten Test gedeckt sind. (Auch häufig nach Ansatz der jeweiligen Experimentatoren nicht für diese allgemeine Sicht ausgelegt waren)

Siehe dazu auch deinen VV-Test.
Da sind ja einige Punkte offen gewesen, trotzdem das Ergebnis hat gepasst und daher wurde auch "verkündet" - wieder besseren Wissens.

Bitte lies dir die Beschreibung nochmals durch:

http://www.open-end-music.de/vb3/showpost.php?p=49269&postcount=82

Zumindest bei dem Punkt "wider besseren Wissens" schießt du übers Ziel hinaus; du hattest bemängelt, es seien nicht genug Teilnehmer gewesen, nur hast du nicht gesagt, in welcher Hinsicht es nicht genug waren.

Ich habe beschrieben, daß es um einen Test auf SL=0.05 Niveau ging und es deshalb mindestens 5 Teilnehmer sein mußten. Falls alle das gleiche, von mir ebenfalls bevorzugte Geräte wählten, lag die Irrtumswahrscheinlichkeit bei p=0.031, d.h. unter der geforderten Irrtumswahrscheinlichkeitsschwelle.

Wenn du also findest, es seien nicht genug Teilnehmer, dann mußt du zwingend auch der Ansicht sein, daß ein Test auf SL=0.05 Niveau (in diesem Fall sogar auf 0.031-Niveau, wobei ab 0.03 der Bereich des "sehr signifikanten" beginnt) nicht ausreicht, denn wenn die Irrtumswahrscheinlichkeit vorgegeben ist, dann wird sie auch mit steigender Teilnehmerzahl nicht geringer.

Als Beispiel kann der gut bekannte ABX-Test mit 16 Durchgängen dienen- auf 0.05-Niveau reichen 12 "Treffer" aus, um die Nullhypothese zurückzuweisen, dabei liegt die tatsächliche Irrtumswahrscheinlichkeit bei p=0.038, also _höher_ als bei 5 "Treffern" in 5 Durchgängen.
14 von 19 hätten ein tatsächliches p=0.032, 15 von 20 ein tatsächliches p=0.021 .

Noch höhere Durchgangszahlen haben den Vorteil, daß man aufgrund der diskreten Ergebnisstruktur dann noch näher an die Schwelle herangehen kann, so reichen bei 100 Durchgängen bereits 59 Treffer aus, um auf 0.05-Niveau die Nullhypothese zurückweisen zu können.

NmE hattest du die fehlende Positivkontrolle bemängelt; Sinn und Zweck einer Positivkontrolle ist es, die Hörfähigkeit unbekannter Teilnehmer generell und die Hörfähigkeit bekannter Teilnehmer unter den spezifischen Testbedingungen zu "abzufragen" .

Im vorliegenden gab es keine spezifische Testsituation (das war schließlich gerade Sinn und Zweck des Versuchs) und die Teilnehmer waren von mir speziell ausgewählt.

Wie sieht es mit der Negativkontrolle aus? Eine Negativkontrolle soll verhindern helfen, daß ein systematischer Fehler zur Unterscheidung führen kann.

Es kam bei unserem Versuch nicht auf die Unterscheidung an, sondern auf die Präferenz- da es sich um zwei Vorverstärker handelte, wurde auch nicht zwischen den Geräten hin- und hergeschaltet und sie liefen an fünf verschiedenen Anlagen (von denen lediglich eine die gleiche Endstufe und das gleiche Quellgerät beeinhaltete wie die, die ich verwendete)

D.h. die Wahrscheinlichkeit für einen systematischen Fehler, der nicht mit den Geräten zusammenhängt ist sehr unwahrscheinlich, und damals wie heute fällt mir keine Negativkontrolle ein, die für einen Fehler geeignet wäre, der einerseits eine Präferenz für eines der Geräte ermöglichte, aber andererseits nicht mit den Klangeigenschaften zusammenhinge.

Hier wurde über die fraglichen Punkte einfach hinweggesehen bzw. eben einfach akzeptiert, eben weil das Ergebnis passt.

Das finde ich eigentlich am erstaunlichsten, denn in der Beschreibung wurden bereits zahlreiche Problemstellen benannt.

Gruß

[Scheller]

Ersetzte Monate durch immer wieder mal 30min, und alles eben nicht vorsätzlich konzentriert, "mit Gewalt" analysieren wollen, und dann trifft es in meiner Realität zu ... und wir sind hier nicht bei wünsch dir was, sondern bei iss so! (wie der Berliner sagt) :)

Damit nimmst du natürlich jedem Zweifler wirkungsvoll den Wind aus den Segeln. Ich kann dir da nur noch zustimmen, denn Kritik an deiner Realität steht weder mir, noch irgendwelchen anderen Lesern zu.

Über den Rest deines Textes sollte man sich daher auch nicht unterhalten oder gar streiten.

Muss jetzt mein Lila Einhorn füttern. Es wiehert...Bis später.:M