Ankündigung

Einklappen
Keine Ankündigung bisher.

Blindtest Design 1 - Grundlegendes

Einklappen
X
 
  • Filter
  • Zeit
  • Anzeigen
Alles löschen
neue Beiträge

    #31
    Hallo

    Zitat von Scheller Beitrag anzeigen
    Deine Beiträge vermitteln mir stets eine (vorsichtig formuliert) seltsame, teilweise etwas naive Einstellung zum Thema. Darüber können mich auch einige pseudoakademische Kraftausdrücke nicht hinwegtäuschen.
    Wenn es Dich stört, kannst Du Dich gerne auch raushalten.

    Zitat von Scheller Beitrag anzeigen
    Umschaltbox ist -nach meiner Auffassung- nicht nur der richtige Weg, sondern UNABDIND
    GBARE Grundvoraussetzung für solche Tests.

    Das FÜR IMMER existierende Problem ist und bleibt aber eben diese Umschalthardware, die IMMER Bestandteil der Kritik sein wird. Somit ist sie einerseits zwingend nötig, andererseits immer zuviel im Signalweg.

    Ich bin WIRKLICH gespannt wie du das meistern wirst.
    Erstens ist die Umschaltbox Bestandteil meines Konzepts.
    Glaubst Du mir das nicht, dann Frag David, der vor ein paar Wochen eine Vorab-Version erhalten hat.

    Im Sinne meines ersten Beitrags:

    WIE Kann man dieses Dilemma lösen?


    Zitat von Scheller Beitrag anzeigen
    Für absolut uninteressant halte ich hingegen die (angebliche) Voraussetzung, dass der Test als Dopperlblindtest konzipiert werden muss. Ein im Raum befindlicher, wissender Helfer, der zur Not sogar den Raum während der Hörperioden verlassen könnte, kann so einem Test einfach nicht schaden.
    Bisher hat sich auch kein Tester über meine (wissende) Anwesenheit beschwert. DAs ist absoluter Zirkus....sorry.
    Da hast du anscheinend etwas falsch verstanden.

    Doppelblind bedeutet nicht, dass niemand weiterer im Raum anwesend sein wird.

    Auch dazu später mehr.


    Zitat von Scheller Beitrag anzeigen
    Ich weiss nichtmal genau, was du bisher zu bemängeln hast....Ich bin aber gespannt, ob du das bisher von mir (oder anderen) erarbeitete "BT-Level" jemals erreichen wirst.
    Eine Aufstellung: (ohne Anspruch auf Vollständigkeit):
    • Nachweis, ob das System überhaupt fähig ist, Unterschiede darzustellen.
      (fällt später under den Punkt "Validierung")
    • Ist das Material geeignet, Unterschiede aufzudecken?
    • Es gibt keine Positivkontrollen
    • Es gibt keine Negativkontrollen
    • Die Verblindung ist fragwürdig (nur einfache Verblindung)
    • Die Tagesverfassung ändert sich
    • Wenn der Proband selber umschaltet, weiss er genau, dass z.B statt A nun B spielt.
      Also weiss er, dass es einen realen Wechsel und je nach seiner Anschauung versucht er unbewusst einen Unterschied herauszuören oder eben keinen zu hören.
      Das öffnet Tüt und Tor für die Suggestion
    • Ob es ein akustisches Langzeitgedächntis gibt, um vorher mit nachher zu vergleichen, ist fraglich.
      Auch hier kann man sich dann vieles einbilden.
    • Man kann sich nur auf einen Probanden (oder sehr wenige) beschränken.
      Das schränkt die Aussagekraft des Tests noch weiter ein.
    • Die Probanden hören mit unterschiedlichen Signalen/Musik.


    Zitat von Scheller Beitrag anzeigen
    WARUM schreibst du dann aber von einem wasserfesten Setup. Kluge Menschen werden früh erkennen, dass es das in diesem Bereich (Hifi-Audio) nie geben kann....:
    Nochmal, vielleicht überliest Du es diesmal nicht:
    Wasserfest, um alle methodischen Kritikpunkte abzuwenden (siehe meine Aufzählung oben).

    Anscheinend verstehst Du unter "wasserfest" was anderes


    Zitat von Scheller Beitrag anzeigen
    Ich habe den Eindruck, dass du -alleine schon durch deine aufgesetzte Schreibweise- ein kluges Köpfchen darstellen möchtest.
    Wenn ich Deinen Tonfall hier lese, glaub ich eher, dass das eher Dein Motiv ist, hier so zu schreiben.

    Warum bloß?

    Zitat von Scheller Beitrag anzeigen
    Ich weiss nichtmal genau, was du bisher zu bemängeln hast....Ich bin aber gespannt, ob du das bisher von mir (oder anderen) erarbeitete "BT-Level" jemals erreichen wirst.
    Ah ja. Da ist die Antwort.
    Sorry, ich wollte Deine Kompetenz nicht anzweifeln.

    Zitat von Scheller Beitrag anzeigen
    denk´mal drüber nach. :E:
    Ja, Weiser Mann.

    Können wir nun die persönlichen Befindlichkeiten beiseite lassen und sachlich etwas weiterbringen?


    Wie schon beschrieben, ist es uninteressant wenn jemand nur schreibt, wie es nicht geht.

    Ein kompetenter Input beinhaltet in meinen Augen auch Ansätze, WIE ES BESSER GEHT.

    Ich bin mir sicher, Du schaffst es.

    LG

    Babak
    Grüße
    :S

    Babak

    ------------------------------
    "Alles was wir hören ist eine Meinung, nicht ein Faktum.

    Alles was wir sehen ist eine Perspektive, nicht die Wahrheit!"


    Marcus Aurelius

    Kommentar


      #32
      Hallo
      Zitat von pachulke3 Beitrag anzeigen
      Indem man die Fragen stellt, die der Test beantwortet. Nachdem die möglichen Antworten klar sind, wird es Dir ja wohl nicht so schwer fallen, die passenden Fragen zu stellen. Es ist ja nicht so, als sei die Antwort '42'.

      Indem man einen nicht einhaltbaren Anspruch (Probanden werden nicht getestet) fallen lässt.
      Die Probanden sind in meinem Setup Teil des Testsystems.
      Somit steht für mich immer noch die Frage da, ob es zwischen Komponenten Unterschiede gibt, die vom Testsystem (also den Probanden) detektiert (also wahrgenommen) werden können.

      Und nciht umgekehrt, ob die Probanden Unterschiede zwischen den Komponenten wahrnehmen können.
      Das würde bedeuten, dass man fix davon ausgeht, DASS es klangliche Unterschiede zwischen den Komponenten gibt.

      Vorher sollte meiner Meinung nach mal geklärt werden, OB es diese Unterschiede gibt.


      Wie sieht Deiner Meinung nach die korrekte Frage aus?

      LG

      Babak
      Grüße
      :S

      Babak

      ------------------------------
      "Alles was wir hören ist eine Meinung, nicht ein Faktum.

      Alles was wir sehen ist eine Perspektive, nicht die Wahrheit!"


      Marcus Aurelius

      Kommentar


        #33
        Babak vs Scheller

        Wenn ihr euch beflegeln wollt probiert es mit der Post oder einfacher fernmündlich.
        Hier geht es um Unterschiede (die einen hören ihn die anderen nicht) von der Elektronik.
        Und wenn so ein Umschaltgerät dazwischen ist dann ist es auch bei allen, von David angeschlossenen,Geräten. Also kann das bei allen gleich stören oder nicht.


        LG Klaus

        Kommentar


          #34
          Hallo Klaus,

          danke, dass Du das ganze auf Kurs bringst.

          Du hast es kurz und knackig richtig formuliert.

          Auch wenn die Umschaltbox einen Einfluss hat:
          Wichtig ist, dass sie bei beiden zu testenden Komponenten und bei allen Probanden den selben Einfluss hat.

          So bleibt das ganze innerhalb des Testumfangs konsistent.

          LG

          Babak
          Grüße
          :S

          Babak

          ------------------------------
          "Alles was wir hören ist eine Meinung, nicht ein Faktum.

          Alles was wir sehen ist eine Perspektive, nicht die Wahrheit!"


          Marcus Aurelius

          Kommentar


            #35
            Ja das denke ich auch.


            LG Klaus

            Kommentar


              #36
              Zitat von Babak Beitrag anzeigen
              Somit steht für mich immer noch die Frage da, ob es zwischen Komponenten Unterschiede gibt, die vom Testsystem (also den Probanden) detektiert (also wahrgenommen) werden können.

              Und nciht umgekehrt, ob die Probanden Unterschiede zwischen den Komponenten wahrnehmen können.
              Ich habe Deinen Denkfehler markiert. Weil Du in dem Fall, wo kein Unterschied detetektiert wird, nicht entscheiden kannst, ob es am Hörer oder an den "Komponenten" liegt, gibt es den Gegensatz, den Du mit Deinem "umgekehrt" implizierst, nicht. Solange die Probanden den Unterschied feststellen müssen, ist zwischen der Frage im ersten Absatz und der im zweiten Absatz des obigen Zitats kein Unterschied.

              Der Test ist eine Black Box, mit zwei Signaleingängen (die abwechselnd das gleiche Signal erhalten - hinter den beiden Eingängen hängen jeweils die beiden "Komponenten"), dem Probanden und einem Unterschied-Ja/Nein-Ausgang. Wenn das Ergebnis "Nein" lautet, weißt Du nicht, ob es am Proband liegt, oder daran, dass beide Komponenten wirklich ununterscheidbar sind, z.B. weil beide gleich sind. Dieser Fall (beide gleich) gehört übrigens auch zu einem glaubwürdigen Test, und er macht nichts anderes, als den Probanden zu testen.

              Kommentar


                #37
                Wenn kein Unterschied zu hören ist, warum muss dann einer sein?


                LG Klaus

                Kommentar


                  #38
                  Zitat von Babak Beitrag anzeigen

                  Du hast es kurz und knackig richtig formuliert.

                  Auch wenn die Umschaltbox einen Einfluss hat:
                  Wichtig ist, dass sie bei beiden zu testenden Komponenten und bei allen Probanden den selben Einfluss hat.
                  Auch falsch. Nehmen z.B. mal an, die Umschaltbox begrenze den Frequenzgang nach oben scharf auf 10kHz. Das ist unsinnig, aber es geht um's Prinzip, dass Dir die Goldohren genau so um die Ohren hauen werden, wenn nicht ihr gewünschtes Ergebnis rauskommt. Wie willst Du dann den Unterschied zwischen einem digitalisierten Signal mit fs=22.05kHz und einem mit fs=44.1kHz detektieren? Der Einfluss dieser "Umschaltbox" ist - wie gefordert - auf beide Komponenten gleich und trotzdem ist der Test offensichtlich ungültig.
                  Zuletzt geändert von Gast; 01.04.2009, 00:01.

                  Kommentar


                    #39
                    Dann können wir auch annehmen, dass eines der getesteten Geräte einen Schaden aufweist und dann der Test auch ungültig ist.
                    Oder irgendwer hat im Haus eine Waschmaschine oder einen PC eingeschaltet. Das kann ja auch störend wirken (sagen manche) oder es scheint draussen die Sonne und es ist nicht dunkel. Denn bei Dunkelheit und Kerzenschein hört man besser (auch das hab ich schon gehört).
                    Oder es fehlt an Zaubermittel und man hört einen geringen oder keinen Unterschied.
                    Man kann es drehen und wenden und man kommt nie auf einen Nenner.



                    LG Klaus

                    Kommentar


                      #40
                      Hallo

                      Zitat von pachulke3 Beitrag anzeigen
                      Weil Du in dem Fall, wo kein Unterschied detetektiert wird, nicht entscheiden kannst, ob es am Hörer oder an den "Komponenten" liegt, gibt es den Gegensatz, den Du mit Deinem "umgekehrt" implizierst, nicht. Solange die Probanden den Unterschied feststellen müssen, ist zwischen der Frage im ersten Absatz und der im zweiten Absatz des obigen Zitats kein Unterschied.

                      Der Test ist eine Black Box, mit zwei Signaleingängen (die abwechselnd das gleiche Signal erhalten - hinter den beiden Eingängen hängen jeweils die beiden "Komponenten"), dem Probanden und einem Unterschied-Ja/Nein-Ausgang. Wenn das Ergebnis "Nein" lautet, weißt Du nicht, ob es am Proband liegt, oder daran, dass beide Komponenten wirklich ununterscheidbar sind, z.B. weil beide gleich sind. Dieser Fall (beide gleich) gehört übrigens auch zu einem glaubwürdigen Test, und er macht nichts anderes, als den Probanden zu testen.
                      Man kann natürlich das Testergebnis nach Probanden auswerten und entsprechend interpretieren, dass man die Probanden testet.

                      Doch es wird nicht unbedingt die individuelle Auswertung im Mittelpunkt stehen, sondern auch die über die gesamte Gruppe bzw. Subgruppen.

                      Wie bei einem pharmazeutischen Test, bei dem man auch die Wirkung des Medikaments auf den einzelnen Probanden testet, aber auch und hauptsächlich die gesamte Probandengruppe betrachtet.

                      Zitat von pachulke3 Beitrag anzeigen
                      Weil Du in dem Fall, wo kein Unterschied detetektiert wird, nicht entscheiden kannst, ob es am Hörer oder an den "Komponenten" liegt,[...]
                      Wenn das Ergebnis "Nein" lautet, weißt Du nicht, ob es am Proband liegt, oder daran, dass beide Komponenten wirklich ununterscheidbar sind, z.B. weil beide gleich sind. Dieser Fall (beide gleich) gehört übrigens auch zu einem glaubwürdigen Test, und er macht nichts anderes, als den Probanden zu testen.
                      [/COLOR][/COLOR]
                      Dazu werden ja auch Positiv- und Negativkontrollen geführt.

                      Es kommt darauf an, wo das NEIN" kommt:
                      1. bei einem Wechsel zwischen den Komponenten (wo bei einem signifikanten Unterschied der Komponenten etwas gehört werden sollte)
                      2. bei einer Negativkontrolle (wo eben nichts zu hören sein kann)
                      3. bei einer Positivkontrolle (wo ziemlich sicher etwas zu hören sein sollte)


                      Jeder dieser Fälle hat eine andere Aussage.

                      Die beiden Kotrollen weisen darauf hin, wenn ein Faktor beim Probanden liegt (Suggestion, raten, etc.)

                      LG

                      Babak
                      Grüße
                      :S

                      Babak

                      ------------------------------
                      "Alles was wir hören ist eine Meinung, nicht ein Faktum.

                      Alles was wir sehen ist eine Perspektive, nicht die Wahrheit!"


                      Marcus Aurelius

                      Kommentar


                        #41
                        Hallo

                        Zitat von pachulke3 Beitrag anzeigen
                        Auch falsch. Nehmen z.B. mal an, die Umschaltbox begrenze den Frequenzgang nach oben scharf auf 10kHz. Das ist unsinnig, aber es geht um's Prinzip, dass Dir die Goldohren genau so um die Ohren hauen werden, wenn nicht ihr gewünschtes Ergebnis rauskommt. Wie willst Du dann den Unterschied zwischen einem digitalisierten Signal mit fs=22.05kHz und einem mit fs=44.1kHz detektieren? Der Einfluss dieser "Umschaltbox" ist - wie gefordert - auf beide Komponenten gleich und trotzdem ist der Test offensichtlich ungültig.
                        Ich gehe mal davon aus, dass solche Einflüsse messtechnisch erfassbar sind.

                        Dann fällt das bei der Validierung des Equipments auf (also wenn die Eignung der verwendeten Geräte geprüft wird).

                        LG

                        Babak
                        Grüße
                        :S

                        Babak

                        ------------------------------
                        "Alles was wir hören ist eine Meinung, nicht ein Faktum.

                        Alles was wir sehen ist eine Perspektive, nicht die Wahrheit!"


                        Marcus Aurelius

                        Kommentar


                          #42
                          Zitat von pachulke3 Beitrag anzeigen
                          Für einen Hörer kann die Frage "Unterschied: JA/NEIN" beantwortet werden. Für diesen einen Hörer werden immer die beiden zu untersuchenden Systeme UND die Fähigkeiten des Hörers getestet. Das steht im Widerspruch zu Deinem Anspruch, nicht den Probanden zu testen.

                          dafür gibts die Statisktik. Wenn genügend Hörer am Test teilnehmen, kann man zumindest für ein Kollektiv männlicher Mitteleuropäer mittleren Alters einigermaßen brauchbare Aussagen treffen.
                          Ich kann mich noch gut an einen hier veröffentlichten Test erinnern, bei dem der Proband in 7 von 10 Versuchen richtig lag. Daraus wurde dann gefolgert: kein Unterschied hörbar. Dazu ist zu beachten, dass man erstens mit 70% Trefferquote ohne große Probleme eine Medikamentenzulassung bekommt und man zweitens mit einer so kleinen Zahl an Versuchen überhaupt keine Aussage treffen kann, weil das Resultat mit Sicherheit nicht signifikant ist.
                          Bin auch gespannt, ob die Methode darüber hinausgehende Aussagen erlaubt. Also zum Beispiel ob es Sonderbegabungen gibt oder alle gleich derrisch sind (Einzelauswertungen bei ausreichender Zahl von Versuchen). Weiters sind Konfidenzintervall und p-Wert interessant. Wenn man nämlich zufällig eine Gruppe von fünf Tauben und fünf Goldohren (so es diese gibt) erwischt, kommt im Schnitt nämlich auch nichts brauchbares raus.
                          Alles in Allem geht's hier darum, bewährte Methoden aus den Life Sciences anzuwenden. Techniker haben da offenbar manchmal Verständnisprobleme.

                          lg
                          reno

                          Kommentar


                            #43
                            Zitat von Babak Beitrag anzeigen
                            Auch wenn die Umschaltbox einen Einfluss hat:
                            Wichtig ist, dass sie bei beiden zu testenden Komponenten und bei allen Probanden den selben Einfluss hat.

                            So bleibt das ganze innerhalb des Testumfangs konsistent.
                            da bin ich mir leider nicht so sicher, ob das das Problem aus der Welt schafft. Falls die Umschaltbox die Detektionsschwelle für bestimmte Veränderungen nach oben schiebt, mittelt sich ihr Einfluss nicht aus. Leider weiß ich auch nicht, wie man's besser machen könnte.

                            lg
                            reno

                            Kommentar


                              #44
                              Hallo
                              Zitat von Reno Barth Beitrag anzeigen
                              da bin ich mir leider nicht so sicher, ob das das Problem aus der Welt schafft. Falls die Umschaltbox die Detektionsschwelle für bestimmte Veränderungen nach oben schiebt, mittelt sich ihr Einfluss nicht aus. Leider weiß ich auch nicht, wie man's besser machen könnte.
                              Frage in die Runde:
                              Wäre es akzeptabler, eine "einfache" Umaschaltbox zu verwenden, ohne Pegelausgleich?

                              Wie geht man dann mit der unterschiedlichen Klangwahrnehmung allein durch den Pegelunterschied um?

                              Ich denke, EINEN Tod muss man hier sterben.

                              Aus meiner jetzigen Sicht ist der, dass die Umschaltbox den Klang beeinflussen könnte, der kleinere.
                              Denn dieser Effekt ist nach meinem Bauchgefühl kleiner, als die Auswirkung eines Pegelunterschieds.

                              LG

                              Babak
                              Grüße
                              :S

                              Babak

                              ------------------------------
                              "Alles was wir hören ist eine Meinung, nicht ein Faktum.

                              Alles was wir sehen ist eine Perspektive, nicht die Wahrheit!"


                              Marcus Aurelius

                              Kommentar


                                #45
                                Zitat von Babak Beitrag anzeigen
                                Doch es wird nicht unbedingt die individuelle Auswertung im Mittelpunkt stehen, sondern auch die über die gesamte Gruppe bzw. Subgruppen.
                                Da kommt aber kein JA/NEIN als Ergebnis heraus. Du scheinst den Gedanken zu haben, dass das gemittelte Ergebnis über eine Gruppe nur deshalb nicht entweder JA oder NEIN ist, weil das Ergebnis der einzelnen Probanden zufällig streut, eine Abweichung vom JA/NEIN-Ergebnis also eine Art Messfehler darstellt. Das ist aber falsch, denn es gibt im Gegenteil systematische Variabilität unter den Probanden (korreliert z.B. mit Alter, Hörerfahrung, Training ...).

                                Kommentar

                                Lädt...
                                X
                                👍