Ankündigung

Einklappen
Keine Ankündigung bisher.

Blindtest Design 1 - Grundlegendes

Einklappen
X
 
  • Filter
  • Zeit
  • Anzeigen
Alles löschen
neue Beiträge

    #46
    Zitat von Babak Beitrag anzeigen
    Ich gehe mal davon aus, dass solche Einflüsse messtechnisch erfassbar sind.
    Darum geht es doch gar nicht. Du hast so getan, als sei damit, dass der Einfluss der Umschalteinheit auf beide Komponenten der gleiche ist, sichergestellt, dass die Umschalteinheit keinen Einfluss auf das Ergebnis haben werde. Es genügt ein Beispiel, bei dem diese Aussage nicht zutrifft, um die gesamte Aussage zu falsifizieren. Dieses Beispiel habe ich geliefert.

    Wie Du übrigens gesehen hast, hat es nicht lange gedauert, bis das erste Goldohr an der Umschalteinheit zweifelt.
    Zuletzt geändert von Gast; 01.04.2009, 08:33.

    Kommentar


      #47
      Wenn Verstärker getestet werden, besteht die ganze Umschaltbox nur aus 4 Relais die hin und herschalten - sonst nichts. Keinerlei Elektronik ist im Spiel. Der Pegelausgleich wird an den Verstärkern selbst gemacht.
      Die Relais haben eine Qualität, die es so in keinem Verstärker gibt. In dieser Funktion ist die Umschaltbox über jeden Zweifel erhaben. Wer da noch etwas kritisiert, den nehme ich nicht mehr ernst.

      Beim Testen von Tonquellen, kommt zwar minimale Elektronik ins Spiel (einfache, aber ganz hochwertiger Impedanzwandler ohne Verstärkung und mit sehr hoher Bandbreite), aber nur deshalb, um das lautere Gerät durch die Pegelabsenkung nicht zu benachteiligen.

      Als wir diesen Umschalter hier im Forum diskutiert haben, haben alle daran beteiligten Techniker (auch Klaus) ihr OK dazu gegeben und bestätigt, dass man das nicht mehr besser machen kann.

      Somit ist auch hier jede Kritik ein Witz. Die Unterschiede kommen wenn dann nur von den Testgeräten her, die in sich wesentlich mehr Schwachstellen aufweisen.

      Gruß
      David
      Gruß
      David


      WEBSEITE HiFiAKTIV: Klick mich
      Einen "Audio-Laien" erkennt man daran, dass er sich viel mehr mit Audiokomponenten beschäftigt als mit Raumakustik, LS-Aufstellung und Hörplatzwahl.
      Auch Personen, die noch wenig Wissen auf diesem Gebiet haben, oder solche, die Rat und Hinweise von Erfahrenen suchen, sind hier richtig.
      Meine Auffassung von seriösen Vergleichstests: Klick mich - Die bisherigen Testergebnisse: Klick mich - Private Anlage: Klick mich - Wann gefällt mir ein Musikstück? - Klick mich
      Grundsätzlich: Behauptungen die mir bedenklich erscheinen, glaube ich nur, wenn sie messtechnisch nachvollziehbar sind und wenn sie mir in Form eines verblindeten Vergleichs bewiesen werden konnten.
      Eine Bitte an Alle: nicht ganze (noch dazu große) Beiträge zitieren und darunter einen kurzen Kommentar schreiben! Besser (beispielsweise): "Volle Zustimmung zu Beitrag 37".
      Wichtig: zumindest versuchen, beim Thema bleiben!

      Kommentar


        #48
        Zitat von pachulke3 Beitrag anzeigen
        Wie Du übrigens gesehen hast, hat es nicht lange gedauert, bis das erste Goldohr an der Umschalteinheit zweifelt.

        wenn du mich meinst, hast du meine Beiträge entweder nicht gelesen oder nicht verstanden. Ich denke nur, dass man gut beraten ist, in der Planungsphase eines Experiments Stärken und mögliche Schwächen des Designs zu diskutieren. Im Übrigen halte ich nicht die Umschaltbox, sondern die psychologischen Besonderheiten der Testsituation für das Problem.

        lg
        reno

        Kommentar


          #49
          Zitat von Reno Barth Beitrag anzeigen
          wenn du mich meinst, hast du meine Beiträge entweder nicht gelesen oder nicht verstanden.
          Zitat von Reno Barth
          da bin ich mir leider nicht so sicher, ob das das Problem aus der Welt schafft. Falls die Umschaltbox die Detektionsschwelle für bestimmte Veränderungen nach oben schiebt, mittelt sich ihr Einfluss nicht aus. Leider weiß ich auch nicht, wie man's besser machen könnte.
          Was gibt's da zu verstehen? Du hältst es für möglich, dass eine Umschaltbox die Detektionsschwelle nach oben schiebt. Und wenn z.B. bei einem Kabeltest herauskommt, dass nix zu hören war, dann werden das ganz viele für sehr wahrscheinlich halten.

          Inhaltlich ist das natürlich Quatsch; es ist nun wirklich kein Problem, eine transparente Umschaltbox zu bauen. Wenn aber in einem Test Phänomene gleichen Rangs (also genauso bedeutungslos wie Kabelklang, Steckerklang, ...) getestet werden soll, wird die Umschaltbox immer als angebliche Ursache gescheiterter Tests herhalten müssen. Ungefähr das wollte wohl auch Scheller Babak verdeutlichen.

          Edit: Und natürlich ist es so, dass sich ein realer Einfluss einer Umschalteinheit nicht einfach "rausmittelt", weil beide beide Komponenten davon "betroffen" sind. Das hatte ich ja auch schon geschrieben; da scheinen wir uns einig zu sein. Von Bedeutung ist das allerdings nur, weil die zu untersuchenden Fragestellungen wahrscheinlich schon weitab jeglicher Vernunft sind, nicht weil es unmöglich wäre, eine transparente Umschalteinheit zu bauen.
          Zuletzt geändert von Gast; 01.04.2009, 12:47.

          Kommentar


            #50
            [Hallo Reno,

            Ich kann mich noch gut an einen hier veröffentlichten Test erinnern, bei dem der Proband in 7 von 10 Versuchen richtig lag. Daraus wurde dann gefolgert: kein Unterschied hörbar. Dazu ist zu beachten, dass man erstens mit 70% Trefferquote ohne große Probleme eine Medikamentenzulassung bekommt
            Man kommt Zulassungen sogar bei 50%. Daher hält sich ja die Homöopathie am Markt ;)

            und man zweitens mit einer so kleinen Zahl an Versuchen überhaupt keine Aussage treffen kann, weil das Resultat mit Sicherheit nicht signifikant ist.
            Es hat auch schon Tests mit einer größeren Anzahl an Durchgängen gegeben. Dort wurde aber dann "Ermüdung aufgrund der Überlänge des Tests" als Entschuldigung dafür angegeben, dass er nicht bestanden wurde.

            Weiters sind Konfidenzintervall und p-Wert interessant. Wenn man nämlich zufällig eine Gruppe von fünf Tauben und fünf Goldohren (so es diese gibt) erwischt, kommt im Schnitt nämlich auch nichts brauchbares raus.
            In den mir bekannten Tests gab es keine aufälligen Unterschiede zwischen den Leuten die als Gold- bzw. Holzohr galten.

            Grüße,

            uwe

            Kommentar


              #51
              Zitat von UweM Beitrag anzeigen
              Es hat auch schon Tests mit einer größeren Anzahl an Durchgängen gegeben. Dort wurde aber dann "Ermüdung aufgrund der Überlänge des Tests" als Entschuldigung dafür angegeben, dass er nicht bestanden wurde.

              so darf man's auch nicht machen. man braucht möglichst viele Probanden vor der selben Testanordnung und dann eine saubere Statistik. daraus erkennt man, ob im Schnitt was gehört wird. dann kann man in entsprechenden Analysen herausfiltern, ob bestimmte Leute mehr hören als andere, ob die Trefferquote mit der Zeit schlechter oder vielleicht auch besser wird etc.

              lg
              reno

              Kommentar


                #52
                Zitat von pachulke3 Beitrag anzeigen
                Du hältst es für möglich, dass eine Umschaltbox die Detektionsschwelle nach oben schiebt. Und wenn z.B. bei einem Kabeltest herauskommt, dass nix zu hören war, dann werden das ganz viele für sehr wahrscheinlich halten.

                das könnte man ja ganz leicht ausprobieren. dazu braucht's nur einen Vollverstärker und zwei idente Quellen (oder eine mit zwei Ausgängen). wenn derjenige, der's zusammensteckt nicht selber umschaltet, ist der test sogar doppeblind. Im übrigen glaube ich auch, dass die Umschalteinheit keinen Unterschied macht. Behaupten kann ich das allerdings erst, wenn ich dazu Daten habe.

                lg
                reno

                Kommentar


                  #53
                  Hallo

                  Zitat von pachulke3 Beitrag anzeigen
                  Du scheinst den Gedanken zu haben, dass das gemittelte Ergebnis über eine Gruppe nur deshalb nicht entweder JA oder NEIN ist, weil das Ergebnis der einzelnen Probanden zufällig streut, eine Abweichung vom JA/NEIN-Ergebnis also eine Art Messfehler darstellt.
                  Nein, diesen Gedanken habe ich nicht.

                  Es wird eine statistische Auswertung gebe, mit welcher Relevanz die Wechsel erkannt worden sind.

                  Nur weil ich mir eine Gesamtpopulation ansehe, bedeutet das nciht, dass gemittelt wird.

                  Zitat von pachulke3 Beitrag anzeigen
                  Du hast so getan, als sei damit, dass der Einfluss der Umschalteinheit auf beide Komponenten der gleiche ist, sichergestellt, dass die Umschalteinheit keinen Einfluss auf das Ergebnis haben werde. Es genügt ein Beispiel, bei dem diese Aussage nicht zutrifft, um die gesamte Aussage zu falsifizieren. Dieses Beispiel habe ich geliefert.
                  Dann hast Du mich falsch verstanden.

                  Wenn die Umschalteinheit einen Enfluss hat, dann sollte der gleiche Einfluss bei allen Signalen und bei allen Probanden gleich sein.
                  Das verändert zwar die Signale objektiv, aber verändert nicht das Verhältnis der Signale zueinander.

                  Alle Signale werden im gleichen Verhältnis verfälscht.

                  Hätte man die Umschalteinheit nicht, bringt alleine der Pegelunterschied eine Variation in der Wahrnehmung der Signale.

                  Diese zusätzliche Variation ist meines Erachtens kritischer als eine mögliche aber gleichartige Verfälschung aller Signale.

                  Zitat von pachulke3 Beitrag anzeigen
                  Wie Du übrigens gesehen hast, hat es nicht lange gedauert, bis das erste Goldohr an der Umschalteinheit zweifelt.
                  Mich würde es eher wundern, wenn solche Vorhaben KEINEN derartigen Reflex bei diversen Forenteilnehmern auslöste. ;)



                  LG

                  Babak
                  Zuletzt geändert von Babak; 01.04.2009, 14:05.
                  Grüße
                  :S

                  Babak

                  ------------------------------
                  "Alles was wir hören ist eine Meinung, nicht ein Faktum.

                  Alles was wir sehen ist eine Perspektive, nicht die Wahrheit!"


                  Marcus Aurelius

                  Kommentar


                    #54
                    Im übrigen glaube ich auch, dass die Umschalteinheit keinen Unterschied macht. Behaupten kann ich das allerdings erst, wenn ich dazu Daten habe.
                    Wie gesagt, vier Relais. Was soll es dazu für Daten geben?

                    Im anderen Fall, also wenn die Umschalteinheit für Quellgeräte verwendet wird, sind die sogenannten "Daten" absolut jenseits von Gut und Böse. Ich kann mich so dunkel erinnern, dass der Buffer bis ins Megahertzbereich reicht.

                    Bitte hört auf, darüber zu spekulieren. Jedes Hifi-Gerät ist um vieles schlechter.

                    Gruß
                    David
                    Gruß
                    David


                    WEBSEITE HiFiAKTIV: Klick mich
                    Einen "Audio-Laien" erkennt man daran, dass er sich viel mehr mit Audiokomponenten beschäftigt als mit Raumakustik, LS-Aufstellung und Hörplatzwahl.
                    Auch Personen, die noch wenig Wissen auf diesem Gebiet haben, oder solche, die Rat und Hinweise von Erfahrenen suchen, sind hier richtig.
                    Meine Auffassung von seriösen Vergleichstests: Klick mich - Die bisherigen Testergebnisse: Klick mich - Private Anlage: Klick mich - Wann gefällt mir ein Musikstück? - Klick mich
                    Grundsätzlich: Behauptungen die mir bedenklich erscheinen, glaube ich nur, wenn sie messtechnisch nachvollziehbar sind und wenn sie mir in Form eines verblindeten Vergleichs bewiesen werden konnten.
                    Eine Bitte an Alle: nicht ganze (noch dazu große) Beiträge zitieren und darunter einen kurzen Kommentar schreiben! Besser (beispielsweise): "Volle Zustimmung zu Beitrag 37".
                    Wichtig: zumindest versuchen, beim Thema bleiben!

                    Kommentar


                      #55
                      Zitat von Reno Barth Beitrag anzeigen
                      das könnte man ja ganz leicht ausprobieren. dazu braucht's nur einen Vollverstärker und zwei idente Quellen (oder eine mit zwei Ausgängen). wenn derjenige, der's zusammensteckt nicht selber umschaltet, ist der test sogar doppeblind. Im übrigen glaube ich auch, dass die Umschalteinheit keinen Unterschied macht. Behaupten kann ich das allerdings erst, wenn ich dazu Daten habe.

                      Hallo Reno,

                      auch diese Möglichkeiten wurden bei vorangegangenen Tests bereits diskutiert und dann ausgeschlossen weil:
                      1. auch baugleiche Player stehen in dem Verdacht potentiell unterschiedlich zu klingen
                      2. Beim parallelen Anschluss an einen Player bestünde die Gefahr, dass die Kapazität des nicht laufenden Kabels den gerade benutzten Anschluss zusätzlich belastet und damit Unterschiede nivelliert.

                      Diese Einwände stammten übrigens von Goldohren.

                      Wir machen das ja nicht zum ersten Mal. Letztendlich läuft aber die ganze Diskussion um "Verbesserung" der Tests darauf hinaus, dass diese in der Praxis nicht mehr durchführbar sind. Immerhin auch eine interessante Strategie.

                      Grüße,

                      Uwe

                      Kommentar


                        #56
                        Zitat von Babak Beitrag anzeigen
                        Genau aus diesem Grund, geht es bei meiner Idee darum, nur anzugeben, ob es nachd em wechsel anders klingt oder nicht.
                        ...
                        In diesem Sinne macht es durchaus Sinn auszuwerten, wie oft jemand einen Unetrschied wahrgenommen hat, wo auch wirklich ein Wechsel war.
                        ...
                        • Das die Daten werden statistisch ausgewertet
                        Leider schaffe ich es aus Zeitgründen nicht, die hier folgenden Beiträge alle zu lesen, evtl. wiederhole ich was, aber:

                        Hier sehe ich das größte Problem.

                        Um es klar zu sagen, ohne massive Übung wird niemand in der Lage sein, echte vorhandene Unterschiede in dieser Größenordnung 20 mal hintereinander sauber auseinander halten bei kurzzeitigen Wechseln (bei Langzeittests ist das anders!). SO sind wir Menschen nunmal, da kann keiner was dafür!

                        Umgekehrt zwingen gängige Signifikanzen dazu, mds. diese Anzahl von 20 Versuchen zu unternehmen (10 ist Unsinn, aber auch für dieses Phänomen zu viel).

                        Dieses Problem hat man bei einem Präferenztest nicht (dafür andere :-)).

                        Deswegen meine Bitte:
                        a) Ein Verfahrung zu wählen, was ein Mensch schaffen kann, bzw. der Probant.
                        b) Das Verfahren an sich zu verifizieren, bevor ich das wirklich anwende.

                        Sonst besteht die Gefahr, dass der Test nichts wert ist, weil eine Durchführung gewählt wurde, die nicht zu bestehen ist.

                        Das ist einer der größten Kritikpunkte der meisten bis dato durchgeführten Tests...

                        Ciao DA

                        Kommentar


                          #57
                          Zitat von UweM Beitrag anzeigen
                          Letztendlich läuft aber die ganze Diskussion um "Verbesserung" der Tests darauf hinaus, dass diese in der Praxis nicht mehr durchführbar sind. Immerhin auch eine interessante Strategie.

                          also ich denke nicht, dass Babak das im Sinn hat und mir ist das auch kein Anliegen. Wie gesagt: Ich verkaufe (neben Lautsprechern) vor allem Röhrenverstärker und die erkennt man ja offenbar im Blindtest. Mein Interesse an solchen Fragestellungen kommt in erster Linie aus meinem Studium (Philosophie mit Schwerpunkt Wissenschaftstheorie). Ich bin sozusagen darauf gedrillt, Tests in Frage zu stellen. Diskussionen über die Methodik sind in der Wissenschaft selbstverständlich und werden nicht immer () von persönlichen Interessen gesteuert.

                          lg
                          reno

                          Kommentar


                            #58
                            Zitat von Dragonsage Beitrag anzeigen
                            ohne massive Übung wird niemand in der Lage sein, echte vorhandene Unterschiede in dieser Größenordnung 20 mal hintereinander sauber auseinander halten

                            das ist ein interessanter Einwand. Allerdings stellt sich auch hier die Frage: Wissen wir das? Frage an unsere Studio-Pros: Gibts dazu Studien?

                            lg
                            reno

                            Kommentar


                              #59
                              So ist es leider immer wieder. Es ist völlig egal was man macht, es werden immer wieder Kritikpunkte gefunden, auch wenn sie noch so an den Haaren herbeigezogen werden.

                              Umgekehrt haben die "Goldohren" aber noch nie konkretisiert, wie sie sich einen "wasserdichten" Blindtest vorstellen. Warum ist klar, nämlich, weil sie diese Art von Tests grundsätzlich ablehnen und schon deshalb nicht darüber nachdenken.

                              Babak, mache den Test so wie du ihn dir vorstellt. Eine Diskussion darüber führt zu nichts außer zur Verwirrung.:P
                              Kritik kommt danach sowieso, da kannst du Gift drauf nehmen. Nichts ist sicherer als das.

                              Sollte der Test bei mir im Geschäft gemacht werden, so sage ich jetzt schon, dass ich nicht dazu bereit bin, alle nichtverwendeten Lautsprecher aus dem Hörraum zu entfernen. Auch nicht mit fremder Hilfe, weil ich erstens keinen Platz dafür habe und zweitens viel zu viel Angst, dass dabei etwas beschädigt wird. Genau das wird aber einer der Kritikpunkte sein. Keine Ahnung, wie du das lösen willst.

                              Weitere Punkte die mit hoher Wahrscheinlichkeit kommen:

                              Stress, Ergebnisschuldung
                              Zeitdruck
                              zu viele Proben hintereinander
                              fremde Umgebung
                              zu kurzes Einhören
                              ungeeignete Kabel
                              zu lange LS-Kabel
                              nicht sauberer Strom
                              nicht eingespielte Geräte
                              unerfahrene, untrainierte Probanden
                              Sammelbegriff: Testdesign schlecht
                              Davids Omen ist schlecht
                              Die Ösis sind generell taub.....

                              .....usw, usf.

                              Ich habe das alles schon etliche Male hinter mir. Du noch nicht, deshalb bist du in dieser Sache noch unverbraucht. Danach - falls es wirklich soweit kommt - wirst du um eine Erfahrung reicher sein.;)

                              Gruß
                              David
                              Gruß
                              David


                              WEBSEITE HiFiAKTIV: Klick mich
                              Einen "Audio-Laien" erkennt man daran, dass er sich viel mehr mit Audiokomponenten beschäftigt als mit Raumakustik, LS-Aufstellung und Hörplatzwahl.
                              Auch Personen, die noch wenig Wissen auf diesem Gebiet haben, oder solche, die Rat und Hinweise von Erfahrenen suchen, sind hier richtig.
                              Meine Auffassung von seriösen Vergleichstests: Klick mich - Die bisherigen Testergebnisse: Klick mich - Private Anlage: Klick mich - Wann gefällt mir ein Musikstück? - Klick mich
                              Grundsätzlich: Behauptungen die mir bedenklich erscheinen, glaube ich nur, wenn sie messtechnisch nachvollziehbar sind und wenn sie mir in Form eines verblindeten Vergleichs bewiesen werden konnten.
                              Eine Bitte an Alle: nicht ganze (noch dazu große) Beiträge zitieren und darunter einen kurzen Kommentar schreiben! Besser (beispielsweise): "Volle Zustimmung zu Beitrag 37".
                              Wichtig: zumindest versuchen, beim Thema bleiben!

                              Kommentar


                                #60
                                Ich wil mich ausdrücklich an diesem Testprocere nicht beteiligen, das soll Babak richten. Das hier möchte ich jedoch mal richtigstellen:

                                haben die "Goldohren" aber noch nie konkretisiert, wie sie sich einen "wasserdichten" Blindtest vorstellen. Warum ist klar, nämlich, weil sie diese Art von Tests grundsätzlich ablehnen und schon deshalb nicht darüber nachdenken.
                                1. Es gibt keinen wasserdichten Blindtest. Den kann es nicht geben, weil niemand bisher ein Testdesign hat, daß wissenschaftlichen Testkriterien nach Validität, Objektivität und Reliabilität erfüllt. Das muß man einfach mal akzeptieren und zur Kenntnis nehmen.

                                Daraus folgt zwangsläufig

                                2. Man kann ein verblindetes Testdesign erstellen, das aufzeigen kann, was damit unter den gegebenen Testrahmenbedingen erreichbar ist. Weitergehende, allgemeine Schlußfolgerungen sind nicht statthaft, auch wenn einige das schmerzt.

                                3. Tests werden nicht grundsätzlich abgelehnt. Was abgelehnt wird - und das zu Recht - sind unzulässige Schlußfolgerungen daraus.

                                Ich persönlich halte Kurzeit-Blindtests für völlig ungeeignet. Meine eigenen verblindeten Testversuche legen mir nahe, daß nur dann ein Test erfolgreich bestanden werden kann, wenn folgende Voraussetzungen erfüllt sind:

                                - eigene Anlage mit eigenem Hörmaterial
                                - Langzeittest
                                - Präferenztest statt Unterschiedstest
                                - keine Umschaltung

                                So, und nun lese ich nur noch weiter mit. Ich wünsche Babak auch viel Glück. Er hat meine Anerkennung, weil er wenigstens wieder mal was versucht. Und seine Absicht sehe ich als lauter an.

                                Gruß
                                Franz

                                Kommentar

                                Lädt...
                                X
                                👍