Neue BT-Versuchsreihe

[Scheller]

warum wirkt das Placebo besser, wenn der Arzt glaubt, es sei der real stuff?

Da gibt es nur eine Möglichkeit: Der Arzt hat seinem Patienten die Wirksamkeit glaubwürdiger beteuert.

Dazu stand er natürlich in ständiger Kommunikation mit dem Patienten.

Der "Vergleich"(?) ist "Blödsinnig".

Also nochmal:

Wie? Wie macht er das unbewusst?

[xuser]

Hallo David

In der letzten Zeit habe ich einige Endverstärker-Paarungen unverblindet getestet, und konnte meistens irgendwelche Unterschiede feststellen.

Dies waren u.a. Pass XA 30.5 gegen Threshold S350, Burmester 036 gegen Moon W-7 RS, Accuphase A-35 gegen Exposure S3010 und noch einige mehr.

Zum Hörtest verwende ich mit Vorliebe relativ komplexe Stücke mit mehrfach gegenläufigen Melodien, vielen Soloinstrumenten und teilweise abrupten Wechseln von pianissimo zum fortissimo.

Gruss Beat

[David]

Beat, unverblindet und ohne Pegelausgleich, das kann nie funktionieren.

Für mich steht das nach dem heutigen Test mehr denn je fest.

[xuser]

Hallo David

Bei diesen Hörtests wurde jeweils nur der Endverstärker ausgetauscht.
Grössere Pegeldifferenzen sind mir nur beim Moon-Burmester-Gegenüberstellung aufgefallen.

Die klangliche Performance der Testobjekte war teilweise wirklich unterschiedlich, so z.B. beim Vergleich zwischen der ruhigen, sehr zurückhaltenden Pass XA 30.5 und der ansprechfreudigen Threshold-Endstufe.

Gruss Beat

[Babak]

Hi

1. eine möglichst hohe Anzahl von Testpersonen zusammenbekommen,

Dieses Problem hat jeder Test, unabhängig vom Design

2. bereit sind, Zeit für eine möglichst hohe Anzahl von Durchgängen zu opfern und

Was denkst denn Du, wie viel Zeit da notwendig wäre?
Und wie viel Zeit würde jemand aufbringen wollen?

3. sich gleichzeitig idealerweise überhaupt nicht für das Thema interessieren.

Dieses Problem hat auch jeder Test, egal, wie er designt ist.

Am Thema interessierte Testwillige zu finden ist ja schon schwer genug.

Wie bei jedem Test

Sorry, aber ein Testaufbau, der in der Praxis an der Durchführbarkeit scheitert, ist NICHT GUT, völlig unabhängig davon, wie theoretisch ausgefeilt und wohlbegründet der Ablauf wäre.

So mal konkret.
Was an meinen Vorschlägen ist in dieser Hinsicht schlechter als die anderen?

Uwe, Deine Expertise in Ehren ...
Nur, dass Du es "nicht gut" findest, ist nicht unbedingt ein triftiger Grund. ;)

das mag sein. Vielleicht erklärst du mir einfach, wie du das gemeint hast.

Es wäre mal gut vorher das Verständnis zu klären, bevor Du auf Grund eines Missverständnisses davon galoppierst und wieder eingefangen werden musst ... ;)

Also mal langsam:

Relative Komplexität des Systems:
Lautsprecher - simpel
Menschliche Wahrnehmung - komplex

Möglichkeiten zur genauen Messung, Komplexität der Messung und der Datenauswertung
Lautsprecher - simpel (Messmikro, entsprechende Software, Störfaktoren: Variation des Messystems, die mehr oder weniger normalverteilt ist, wie von Dir angesprochen)

Menschliche Wahrnehmung - komplex (keine Messung mit Messgeräten möglich, Ergebnis muss über den Wahrnehmungsapparat laufen, bewusst gemacht werden, artikuliert werden, Störfaktoren, diverse Wahrnehmunsgfehler, Suggestion, Einbildung, Cognitive Biases, etc. - nicht normalverteilte Fehler)

Argument hier im Forum:

Relative Komplexität der Testmethode
Lautsprecher - komplexer als bei der Wahrnehmung
Menschliche Wahrnehmung - einfacher als bei der Messung

Woher kommt diese Ansicht, dass man ein komplexeres System mit einfacheren Mitteln testen kann als das einfachere System?

LG

Babak

[David]

Beat schrieb:

Bei diesen Hörtests wurde jeweils nur der Endverstärker ausgetauscht.

Auch Endverstärker sind nicht immer gleich laut (Verstärkungsfaktor). Die von mir bisher gemessene Bandbreite erstreckt sich von ca. 22dB bis 32dB.

1dB Unterschied genügt aber schon, um einen anderen Klangeindruck vorzutäuschen, zumindest im A/B-Vergleich. Unverblindet ist etwas mehr notwendig, weil der Mensch hier ein äußerst schlechtes Merkvermögen hat.

Aber das ist wieder ein schönes Beispiel dafür, was sich in der täglichen Praxis in den Geschäften so abspielt.

Man kann sagen, dass Jeder der Verstärker testet (unverblindet und ohne Pegelausgleich), einfach ohne es zu wissen völligen Blödsinn macht. Sogenannte "Insider" machen es auch so und dann sind sie noch stolz auf ihre Erkenntnisse, die sie laut rausposaunen und die sie hätten genauso zusammenwürfeln können.

Der "Wahnsinn" ist nur, dass diese Art von Tests sogar noch als richtig bezeichnet werden und die verblindeten mit Pegelausgleich als falsch!

Das ist derartig absurd, dass man es nur noch mit Nichtwissen - bzw. Nichtnachdenken entschuldigen kann, denn sonst müsste man viel Schlimmeres vermuten (!).

Ich bin heute so weit, dass ich mit gutem Gewissen sagen kann, dass geschätzte 95% aller Aussagen im HiFi Bereich einfach falsch sind, weil sie.....

1.) unter falschen und ungeeigneten Voraussetzungen entstanden sind

2.) alle menschlichen Schwächen beinhalten

3.) nie seriös überprüft wurden

Und laut meiner Beobachtung sind es wieder geschätzte 95% der Forenmitglieder (in allen HiFi-Foren), die das Hobby auf diese Art betreiben.

Das wird sich auch nie ändern, denn es ist viel einfacher und vor allem interessanter, jedem noch so sinnlosen Zubehör (und noch viel mehr den Elektronikkomponenten) klangbestimmende Eigenschaften anzudichten als zu akzeptieren, dass alles das völlig egal ist.

Umgekehrt ist es viel zu kompliziert und unbequem, dort Veränderungen durchzuführen, wo es wirklich Sinn macht und wo es auch eindeutig messbare Verbesserungen gäbe (Raumakustik, Aufstellung/Hörplatz).

Wegen all' dem und noch dazu weil die einschlägigen Medien diesen Wahnsinn auch noch unterstützen, halte ich von dieser Szene gar nichts. Leider bin ich auch mittendrin, weil ich die Musik liebe und weil mich die Wiedergabetechnik interessiert.

[David]

Ich werde heute mit den Verstärkertests weitermachen und vor allem noch ein paar Messungen durchführen, die wir bei den bisherigen Tests nicht gemacht haben. Vielleicht gibt es dadurch ein paar neue Erkenntnisse.

Alles das ist sehr zeitaufwändig und benötigt viel Platz (mein größtes Problem), aber da will und muss ich jetzt durch.

Keine Frage, dass man das alles auch noch "professioneller" machen könnte, denn meine Möglichkeiten sind eingeschränkt.

Aber man kann mir unmöglich einreden, dass das was dabei rauskommt nicht schon weitgehend "die Wahrheit" ist.

Dieses ewige "aber" und "vielleicht" und "unter bestimmten Umständen" und all' das was hier die ganze Zeit von bestimmten Leuten so "zugequatscht" wird, ist damit zumindest für mich völlig hinfällig, weil es überhaupt nichts mit der Praxis zu tun hat.

Jeder dieser Theoretiker sollte nur ein einziges Mal bei einem sauber und seriös durchgeführten verblindeten Test mitmachen oder zumindest einmal dabei gewesen sein. Wenn er danach immer noch denkt wie vorher, ist sozusagen Hopfen und Malz verloren.

[Babak]

Hallo

noch eine Logik, die erklärungswürdig ist:

Sorry, aber ein Testaufbau, der in der Praxis an der Durchführbarkeit scheitert, ist NICHT GUT, völlig unabhängig davon, wie theoretisch ausgefeilt und wohlbegründet der Ablauf wäre.

Mit einem unbrauchbaren Test-Design kann man auch nichts anfangen.

Jetzt kommen wir endlich dem eigentlichen Dilemma näher ...
;)

Fassen wir zusammen.

Ein Test, der verlässliche Aussagen zulässt, bedarf eines hohen Aufwands.

Dieser Aufwand ist womöglich zu hoch für die Meisten.

Frage:
Wie kann man Tests mit geringerem Aufwand durchführen und deren Ergebnisse dennoch als verlässlich darstellen?


Babak

[Babak]

Jeder dieser Theoretiker sollte nur ein einziges Mal bei einem sauber und seriös durchgeführten verblindeten Test mitmachen oder zumindest einmal dabei gewesen sein. Wenn er danach immer noch denkt wie vorher, ist sozusagen Hopfen und Malz verloren.

Dazu sagt einer dieser Theoretiker (der deutlich mehr Versuche in der Praxis durchgeführt hat als die meisten Praktiker hier):

Wenn es keinen einzigen (methodisch) sauberen und (methodisch) seriösen Test gibt, kann man bei nichts mitmachen.
:G:



Den meisten Praktikern hier fehlt die Praxis bei Versuchsplanung, -aufbau, -durchführung und -auswertung.

Daher sind sie nicht in der Lage zu beurteilen, ob ein Test (methodisch) sauber und (methodisch) seriös durchgeführt worden ist.

Blinde und Farben eben.



Ihre Tests würden nicht mal ausreichen, um bei "Jugend forscht" mitzumachen.
Jeder Erstsemestrige schafft es bessere Tests zusammenzustellen.

Keiner von denen würde auf die Idee kommen, einen Test, bei dem der proband selber schaltet, als "verblindeten Test" zu titulieren.

Da verliert man lieber den Hopfen und das Malz, wenn es schon so verschimmelt ist.
;)

Ich werde heute mit den Verstärkertests weitermachen und vor allem noch ein paar Messungen durchführen, die wir bei den bisherigen Tests nicht gemacht haben. Vielleicht gibt es dadurch ein paar neue Erkenntnisse.

Ja, munter weiter mit dem Aktionismus.

Vielleicht gibt es durch den Einsatz von ein paar Waagen neue Erkenntnisse, warum der Stahlbalken nicht schwimmt.
:B

Amüsierte Grüße

Babak

[UweM]

Hi Babak

Was denkst denn Du, wie viel Zeit da notwendig wäre?
Und wie viel Zeit würde jemand aufbringen wollen?

Meiner Erfahrung nach ist kaum einer bereit, mehr als eine Stunde zu opfern. Bei den gescholtenen Kurztests wie z.B. in München waren es nur etwa 10 Minuten und auch das war einigen schon zu lang und sie bemängelten nachlassende Konzentration

So mal konkret.
Was an meinen Vorschlägen ist in dieser Hinsicht schlechter als die anderen?

Die anderen Tests haben stattgefunden, deiner nicht und er wird auch nicht stattfinden, das macht sie schon mal besser.
Die Zielstellung ist schon mal eine andere. Es ging nie darum abzuschätzen ob es bei einer Riesenanzahl von Teilnehmern genügend "Hörende" auffindbar sind, deren Anteil vermuten lässt dass das untersuchte Phänomen existiert, sondern man wäre schon zufrieden gewesen einen Einzigen zu finden, der eine signifikante Trefferquote hat.
Eine Schwäche hast du genannt: Es könnte immer noch sein, dass dieser eine auch keine Unterschiede gehört sondern nur gut genug geraten hat, aber auch dieser Fall ist in all den Jahren nicht aufgetreten.

Du forderst, dass am Thema Uninteressierte teilnehmen sollen. Erklär doch mal, wie du zuverlässig überprüfen willst, ob jemand tatsächlich interessiert ist oder nicht!

Die Forderung nach messtechnischer Verifikation ist plausibel aber im Grunde ein Thema, das längst abgehakt ist, da es zur Argumentation von HigEndern gehört, dass das Gehör Messgeräten überlegen sei und bei weitem nicht alles hörbare auch messbar.

Andere Musikpassagen vorzuschreiben als die von der Testperson bevorzugten (weil in jeder Nuance gut bekannt) ist ein Fehler.

Jeder Mensch hört ein Musikstück auf andere Weise, im Extremfall konzentriert sich der eine auf ein bestimmtes Detail, der andere muss die Musik erst eine gewisse Zeit in ihrer Gesamtheit auf sich wirken lassen. Ein strenges Zeitkonzept vorzuschreiben ist ein Fehler.

Uwe, Deine Expertise in Ehren ...
Nur, dass Du es "nicht gut" findest, ist nicht unbedingt ein triftiger Grund. ;)

Mir reicht schon die Feststellung, dass es niemand, dich eingeschlossen, schaffen wird, einen Test durchzuführen, der deinen Ansprüchen genügt. Das ist schon mehr als nur eine Meinung

Lautsprecher - simpel (Messmikro, entsprechende Software, Störfaktoren: Variation des Messystems, die mehr oder weniger normalverteilt ist, wie von Dir angesprochen)

Immerhin gestehst du jetzt schon Schwierigkeiten ein, auf Schellers Einwand wirktest du noch verwundert.

Frage:
Wie kann man Tests mit geringerem Aufwand durchführen und deren Ergebnisse dennoch als verlässlich darstellen?

Dies zu beantworten wäre eigentlich Sache des Testexperten, der seit Monaten enorme Energien aufwendet um die Tests anderer Forenteilnehmer als untaugliche Laienarbeit dastehen zu lassen, also von DIR.

Ganz ehrlich, an dieser Stelle etwas praxistaugliches von dir zu erfahren wäre wirlich mal ein Durchbruch in dieser Diskussion. Meinen Respekt hättest du!

Grüße,

Uwe

[UweM]

Keiner von denen würde auf die Idee kommen, einen Test, bei dem der proband selber schaltet, als "verblindeten Test" zu titulieren.

Erklär doch mal verständlich warum das nicht verblindet ist, wenn der Teilnehmer nicht weiß hinter welcher Schalterposition sich welches Gerät verbirgt?
Auf welche Weise kann das Resultat dadurch verfälscht werden?

Mal angenommen man macht den Test wie folgt:

An einer Umschalteinheit hängen an den Schaltern A und B zwei Verstärker X und Y.
Der Teilnehmer schaltet selbst so lange um bis er sicher ist, dass sich z.B. hinter der Schalterposition A der Verstärker X befindet. Dann werden die Geräte an den Anschlüssen getauscht (oder nicht) und wieder schaltet der Teilnehmer um bis er sich der Schalterbelegung sicher ist. Danach eine ausreichende Anzahl weiterer Durchgänge.

Warum sollte das kein Blindtest sein?

Grüße,

Uwe

[David]

Ich habe meine Testreihe in Bezug auf "Verstärkerklang" abgeschlossen und meine Antwort bekommen.

Diese lautet: es gibt keinen Verstärkerklang und schon gar keinen, den man nicht auch eindeutig messen kann! Wozu man auch gleich anfügen muss, dass man kaum einen Verstärker finden wird der sich schlecht misst, jedenfalls nicht von den namhaften Herstellern.

Meine Vermutung und Befürchtung ist also eingetreten, auch wurden die bisherigen Tests die noch im Geschäft gemacht wurden, bestätigt.

Hier noch meine weiteren Schritte in dieser Sache:

Der gestrige Testaufbau stand ja noch unverändert da. Ich musste nur nach der neuen Inbetriebnahme nochmals den Pegel des AVM einstellen, weil dieser nach kompletter Abschaltung (Strom komplett aus) immer in einen fixen und leisen Modus geht (was auch vernünftig ist).

Dann habe ich noch einmal Unterschiede zu hören versucht, was mir aber nach wie vor praktisch nicht gelungen ist (wie gesagt, vielleicht ein Hauch von Unterschied in der Mittenwiedergabe, aber keinesfalls in einer Größenordnung, die verblindet zu einer brauchbaren Trefferquote führen könnte).

Als Nächstes habe ich beide Verstärker auf Linearität überprüft. Das habe ich auf 3 Arten gemacht. Einmal ohne Last, einmal mit einem 4 Ohm Fixwiderstand und einmal bei angeschlossener Box.

Sowohl ohne Last als auch am Fixwiderstand sind die Unterschiede derartig minimal gewesen (höchstens 0,2 Volt Abweichung bei 10 Volt Testspannung zwischen 30Hz und 16kHz), dass man in beiden Fällen von "tadellos" sprechen kann.

Bei angeschlossenen Lautsprechern war es dann nicht mehr ganz so perfekt, aber immer noch nur minimal vom Ideal abweichend. Der Schaltverstärker hat (verkehrt als man annehmen würde), im Tieftonbereich um 0,4 Volt weniger Spannung geliefert, der AVM hat im Hochtonbereich die gleichen 0,4 Volt zugelegt. Das alles ziemlich kontinuierlich, also sanft über mehrere Oktaven gehend.

Gerade dort wo ich mir ab und zu eingebildet habe etwas an Unterschieden zu hören, hat sich gar nichts Messbares getan. Ich habe aber weder im Bassbereich noch im Hochtonbereich Unterschiede hören können (dort wo es winzige messbare Unterscheide gab).

Ich habe dann noch eine kurze Klirrmessung gemacht, aber schnell wieder aufgegeben, weil ich fast immer nur Nuller gesehen habe.

Diesen ganzen Messaufbau habe ich für die weitere Verstärkervergleiche stehen lassen.....

......Fortsetzung folgt gleich.

[OpenEnd]

Hallo David,

nur noch mal zum Verständnis. Du misst lediglich den Amplitudengang über der Frequenz.
Das ist für dich die einzige Messung. Wenn dort kein Unterschied zu messen ist, gibt es für dich auch keinen hörbaren Unterschied.
Das bestätigt sich dann auch postwendend durch deine Hörtest-Methode.

Mag sich jeder seine eigenen Gedanken machen, was er davon zu halten hat.

Grüße vom Charly

[David]

Der AVM blieb, der Schaltverstärker ging.....

Zum AVM kam dann ein "fetter" Yamaha (ein AX-1070 - schönes Gerät, muss ich zugeben, obwohl ich diese Marke aus "poltischen Gründen" überhaupt nicht leiden kann).

Diesen habe ich in der Direkt-Stellung nicht verwenden können, weil das Potentiomete zu ungenau war. Ich habe also minimal mit dem Balanceregler nachhelfen müssen. Die 10 Volt waren dann schnell eingestellt und es ging wieder zum Hören.

Obwohl man den Yamaha-Geräte immer so etwas wie "Schärfe" nachsagt, habe ich davon nicht die Spur hören können. Im Gegenteil, ich habe zum AVM nicht einmal mehr ansatzweise irgend einen Unterschied gehört.

Nach ca. 20 Minuten intensivem Hören kam der Yamaha weg.

Dann kam den nächste Yamaha dran (alles Geräte die ich von Kunden zum Entsorgen bekommen habe). Es handelt sich dabei um einen schon recht betagten A-720.

Wieder kein Unterschied hörbar - nach 10 Minuten weg damit.

Der nächste Kandidat: ein neuer NAD C-725BEE Stereoreceiver.

Wieder kein Unterschied hörbar - nach 10 Minuten weg damit.

Als Nächstes nahm ich einen ca. 15 Jahre alten schweren Krell (KAV-500i). Der macht aus jeder Box Hackfleisch wenn es denn sein muss.

Unterschied Null - nach 10 Minuten weg damit (Lautstärkeregelung übrigens sehr genau, aber in groben Schritten!).

Nur zur Info: ich habe beim Hören nie "geschludert", ganz im Gegenteil, ich habe meine kritischsten Lieder gespielt und wirklich genau hingehört. Man muss das einmal selbst gemacht haben, um zu erkennen, wie schnell alles klar ist. Da gibt es kein "vielleicht wird es beim längeren Hören noch anders", weil es wirklich ident ist. Was soll da noch an Veränderungen kommen?

Eine ganz interessante Fortsetzung folgt noch.....

[David]

Charly, Antwort kommt "indirekt" noch im Schlusswort.