Ankündigung

Einklappen
Keine Ankündigung bisher.

Blindtest Wien 02.12.2007: Ergebnisse

Einklappen
X
 
  • Filter
  • Zeit
  • Anzeigen
Alles löschen
neue Beiträge

    Hallo..:Z


    Ich denke - wem es als erstes gelingt Musiksynapsen herzustellen/anzuregen...

    macht ein Bombengeschäft - und ich denke auch dass, das die Zukunft ist....:P
    der Kunde wird zwar eine Art Cyborg - aber wen kümmert das schon..?!

    wenn es genug machen - ist es auch schon die Norm...



    mfG.:E
    Andreas

    PS: nach einem Blindtest kräht dann kein Hahn mehr, - weil ich mir
    mein Gehör bestellen kann, zu meinen Komponenten dazu - ein Service von JBL & Co.... :B:....:A:....:I:
    Zuletzt geändert von debonoo; 26.02.2011, 18:52.

    Kommentar


      Okay, ich gehe einen Schritt weiter in Richtung "Wissenschaft":
      Für einen Test sind zwei Kriterien unabdingbar: Reliabilität und Validität.
      Reliabilität (Zuverlässigkeit) beschreibt das Ausmaß, in dem unabhängige Messungen übereinstimmen. Die Interrater-Reliabilität (Übereinstimmung zwischen den Beobachtungen verschiedener Personen) scheint beim BT hoch zu sein: Man kann ganz einfach auszählen, wie viele Treffer jede Person hatte. Bei einem unverblindeten Test müsste man sich auf ein Grundvokabular einigen: Z.B. "Klingt klarer" Skala 1 bis 10, "Tieferer Bass" Skala 1 bis 10 usw. Die Reliabilität wurde bisher in dem Forum eher selten in Frage gestellt.

      Ganz anders die Validität (Gültigkeit). Sie wurde oft angezweifelt. Beim BT wurden Stimmen laut, dass nicht die Eigenschaften gemessen wurden, die unverblindet eine Rolle spielen. Es wurde angenommen, dass andere Effekte eine Rolle spielen. Anhänger des BT haben ebenso die Validität des unverblindeten Tests angezweifelt: Die Probanden hören, was sie hören "wollen" oder ihrer Ansicht nach hören "sollten".

      Der "Knackpunkt", den es zu lösen gilt, ist also ein Testdesign zu finden, dass die Validität gewährleistet - und zwar die "interne Validität" (Gültigkeit der Messungen innerhalb der Messreihe) und die "externe Validität" (Verallgemeinerbarkeit der Messergebnisse über die Messreihe/Untersuchung hinaus).

      Liebe Grüße,
      Michael
      Beste Grüße,
      Mike

      ____________________
      Hier steht keine Signatur...

      Kommentar


        Hallo

        Zitat von Mike Beitrag anzeigen
        Okay, ich gehe einen Schritt weiter in Richtung "Wissenschaft"
        Nein tu es nicht, die ist ja schlecht und böse und für die Fisch'.
        ;)


        Zitat von Mike Beitrag anzeigen
        Reliabilität (Zuverlässigkeit) beschreibt das Ausmaß, in dem unabhängige Messungen übereinstimmen. Die Interrater-Reliabilität (Übereinstimmung zwischen den Beobachtungen verschiedener Personen) scheint beim BT hoch zu sein: Man kann ganz einfach auszählen, wie viele Treffer jede Person hatte. Bei einem unverblindeten Test müsste man sich auf ein Grundvokabular einigen: Z.B. "Klingt klarer" Skala 1 bis 10, "Tieferer Bass" Skala 1 bis 10 usw. Die Reliabilität wurde bisher in dem Forum eher selten in Frage gestellt.
        Schon hier scheitern viele Tests.
        Auch hier ist zu berücksichtigen, welche Faktoren hier Einfluss haben können (subjektiv empfundener Stress, Ambiente, Verhalten anderer Personen, Kommunikation im Vorfeld, individuelle Unterschiede und Schwerpunkte der einzelnen Personen, etc.)

        Die vorgeschlagene Skala setzt voraus, dass es Unterschiede gibt.
        Selbst das ist nicht geklärt.

        Erst sollte man klären, ob es überhaupt Unterschiede gibt, und erst dann in einer zweiten Versuchsreihe charakterisieren.


        Zitat von Mike Beitrag anzeigen
        Der "Knackpunkt", den es zu lösen gilt, ist also ein Testdesign zu finden, dass die Validität gewährleistet - und zwar die "interne Validität" (Gültigkeit der Messungen innerhalb der Messreihe) und die "externe Validität" (Verallgemeinerbarkeit der Messergebnisse über die Messreihe/Untersuchung hinaus).
        Mit entsprechendem Aufwand kein Problem.
        Doch der ist sehr hoch, da verlieren viele die Lust daran.

        LG

        Babak
        Grüße
        :S

        Babak

        ------------------------------
        "Alles was wir hören ist eine Meinung, nicht ein Faktum.

        Alles was wir sehen ist eine Perspektive, nicht die Wahrheit!"


        Marcus Aurelius

        Kommentar


          Zitat von debonoo Beitrag anzeigen
          macht ein Bombengeschäft - und ich denke auch dass, das die Zukunft ist....:P
          der Kunde wird zwar eine Art Cyborg - aber wen kümmert das schon..?!

          wenn es genug machen - ist es auch schon die Norm...
          Au ja, mach mir den Arnold ...
          :E
          Grüße
          :S

          Babak

          ------------------------------
          "Alles was wir hören ist eine Meinung, nicht ein Faktum.

          Alles was wir sehen ist eine Perspektive, nicht die Wahrheit!"


          Marcus Aurelius

          Kommentar


            @Babak
            Man kann die Hypothese aufstellen, dass es wahrnehmbare Unterschiede gibt. Diese sollte man dann versuchen, zu widerlegen (falsifizieren). Gelingt das nicht, kann man mit dieser Hypothese weiter arbeiten. Gelingt es, sie zu widerlegen (unter BT und unverblindet), hat man zunächst sein Ziel erreicht.

            Es gibt aber auch die schon oben genannten Möglichkeiten eines "fingierten" Tests: Beim unverblindeten Test sagt der Moderator an, dass ein hochwertiger Verstärker spielt, aber ein billiger liefert eigentlich das Signal. Das kann man so weit treiben, dass ein Zufallsgenerator die Verstärkerauswahl übernimmt und weder der Versuchsleiter, noch die Versuchspersonen davon wissen: Der Versuchsleiter wird aus gewählt und man sagt ihm, wenn er auf Knopf "A" seiner Fernbedienung drückt, spielt ein Accuphase-Verstärker und wenn er auf Knopf "B" drückt, spielt ein "billiges" Gerät. Man verschweigt ihm aber, dass ein Zufallsgenerator die Verstärker auswählt und nicht er. Ein Computer erstellt eine Tabelle, wann welcher Verstärker aktiv war. Der Versuchsleiter sagt zu den Testpersonen, welcher Verstärker seines Wissens nach aktiv ist (im vollen Glauben, dass es so ist) und die Testpersonen notieren die ihrer Meinung nach gehörten Unterschiede in ihre vorher verteilten Testbögen. Zuletzt werden die Testbögen mit der Computertabelle verglichen.

            So ähnlich lief es auch bei Weinproben ab - das Resultat war desolat für die "Weinexperten".

            Und natürlich: Vor Bekanntgabe des Ergebnisses soll mit den Probanden ein BT untermöglichst gleichen Bedingungen durchgeführt werden. Dann können die Ergebnisse aus dem BT und dem unverblindeten Test verglichen werden.

            Das in Kürze. Habe aber keine Lust, mir weitere Tests auszudenken. So etwas kann Monate und länger in Anspruch nehmen.

            Außerdem sind seit meinem Examen rund 11 Jahre vergangen, während der ich keine Evaluationen durchgeführt habe. Ich müsste mich erst wieder einarbeiten.

            Zudem merke ich, dass sich immer mehr Forumsteilnehmer aus dem Thread "ausgeklinkt" haben.

            Liebe Grüße,
            Michael
            Beste Grüße,
            Mike

            ____________________
            Hier steht keine Signatur...

            Kommentar


              Hallo Michael,

              ich bin zu den selben Schlüssen gekommen wie Du:
              1. Am Anfang müsste man klären, ob es einen Unterschied gibt oder nicht (entsprechend Deiner Hypothese)
              2. Man kann durchaus Testansätze erarbeiten, die valide ergebnisse liefern
              3. Der notwendige Aufwand ist ziemlich hoch
              4. Am Ende interessiert das Ergebnis niemanden (zumindest kann man die Personen an einer Hand abzählen)


              Somit ist es besser, gar nichts zu tun.

              Ich hab da für mich eine Meta-Hypothese aufgestellt, die lautet:
              Viele Forenteilnehmer diskutieren in den Foren nicht deswegen mit, um neue Erkenntnisse zu erlangen, sondern um sich in Diskussionen auf bestimmte Art und Weise darzustellen (vielleicht, um in einer virtuellen Rangordnung möglichst weit oben zu landen?)

              Daher ist es vollkommen egal, ob ein Sachthema fachlich sauber komplett geklärt weden kann oder nicht.
              Ist es geklärt, wird ein anderes Thema ausgesucht, das für die Diskussionen und Rangeleien herhalten muss.

              Es geht eben oft nicht um die Sachthemen.
              Sie sind nur ein Mittel zum Zweck.

              Beispiele gibt es ja abseits von hörbaren Unterschieden zur genüge.
              :S

              LG

              Babak
              Grüße
              :S

              Babak

              ------------------------------
              "Alles was wir hören ist eine Meinung, nicht ein Faktum.

              Alles was wir sehen ist eine Perspektive, nicht die Wahrheit!"


              Marcus Aurelius

              Kommentar


                @Babak
                Das hast Du recht! Deshalb zum (für mich) Schluss eine kleine Anekdote, wie unterschiedlich Testergebnisse interpretiert werden können:
                Unlängst entdeckten Hirnforscher, dass bei dem Gefühl, man habe eine "außersinnliche, göttliche Erfahrung" und sei mit "Gott" (welcher auch immer) in Kontakt, stets ein bestimmtes Hirnareal aktiv ist. Das ergab eine fMRT-Auswertung. In so mancher Zeitung stand alsbald zu lesen: "Antenne zu Gott entdeckt - Hirnforscher finden Zentrum, das mit Gott kommuniziert". :E

                Ist doch eigentlich ein großes Lob zu einer Zeit, in der man Gebäudereinigung "studieren" und mit einem Bachlor abschließen kann und ein Wissenschaftler weniger Wert ist als ein gemeiner Taschendieb: Hätte Guttenberg Merkels Geldbörse gestohlen, hätte er sofort von seinem Amt zurücktreten müssen. Aber so: Die paar Worte und überhaupt...
                Jaja, die Diebe haben's besser als die Wissenschaftler in unserer Gesellschaft: Die werden wenigstens ernst genommen.

                Liebe Grüße,
                Michael
                Beste Grüße,
                Mike

                ____________________
                Hier steht keine Signatur...

                Kommentar


                  Hallo

                  Zitat von Mike Beitrag anzeigen
                  Jaja, die Diebe haben's besser als die Wissenschaftler in unserer Gesellschaft: Die werden wenigstens ernst genommen.
                  Na, die bringen wenigstens was weiter.


                  Es gibt ja auch einen Grund, warum Steuersünden eher als Kavaliersdelikt angesehen werden oder oft auch bewundert werden: mit ein paar kleinen Tricks hat er dem Staat eines ausgewischt und kann sich schöne Statussymbole leisten, die eh jeder haben will.

                  Das ist ja auch der Grund, warum sich Berlusconi so lange hält:
                  Die Italienischen Männer bewundern ihn, seine Chuzpe, der traut sich, was sich andere nicht trauen (habe ich übrigens von Italienern gehört).

                  Es geht ums Ansehen innerhalb der Gruppe, in der man sich bewegt.
                  Aufmerksamkeit ist das Stichwort.
                  Ob im Forum oder im richtigen Leben.


                  LG

                  Babak
                  Grüße
                  :S

                  Babak

                  ------------------------------
                  "Alles was wir hören ist eine Meinung, nicht ein Faktum.

                  Alles was wir sehen ist eine Perspektive, nicht die Wahrheit!"


                  Marcus Aurelius

                  Kommentar


                    @ bluesy - du bist so angenehm zu lesen. menschlichkeit, offenheit und witz.
                    gruß alex

                    Kommentar


                      die ganze Diskussion ist äußerst angenehm zu lesen und sehr aufschlußreich bzw. konstruktiv :T

                      Kommentar


                        Zitat von Mike Beitrag anzeigen
                        Bei einem unverblindeten Test müsste man sich auf ein Grundvokabular einigen: Z.B. "Klingt klarer" Skala 1 bis 10, "Tieferer Bass" Skala 1 bis 10 usw. Die Reliabilität wurde bisher in dem Forum eher selten in Frage gestellt.
                        Da gibt es standardisierte Tests aus der Codec-Entwicklung, die allerdings auch verblindet zum Einsatz kommen.

                        lg
                        reno

                        Kommentar


                          Zitat von Reno Barth Beitrag anzeigen
                          Da gibt es standardisierte Tests aus der Codec-Entwicklung, die allerdings auch verblindet zum Einsatz kommen.

                          lg
                          reno
                          Danke für Deinen Hinweis, Reno!

                          Allerdings habe ich eher ein Testverfahren im Sinn, das in etwa so aussieht:
                          1. Ergebnisse aus verblindeten Tests: Vergleichstests zwischen Transistorverstärkern, Kabeln, CD-Playern und DACs verschiedener Hersteller und unterschiedlicher Preisklassen haben ergeben, dass die Probanden keine Unterschiede zwischen den Geräten hören konnten. Die Trefferquote lag im Bereich der Zufallstrefferwahrscheinlichkeit. Klangliche Unterschiede lagen folglich unterhalb der Hörschwelle.

                          2. Ergebnisse aus unverblindeten Tests: Die Probanden sagten, dass sie zwischen den o.g. Geräten qualitative Unterschiede wahrnehmen konnten. Folglich lagen klangliche Unterschiede innerhalb des menschlichen Hörbereichs.

                          Konsequenzen aus obigen Ergebnissen:
                          1.1 Der BT ist nicht reliabel und/oder nicht valide => Der BT muss verworfen werden.
                          1.2 Der unverblindete Test ist nicht reliabel und/oder nicht valide => Der unverblindete Test muss verworfen werden.

                          Sollte das so sein, müssten neue Testdesigns entwickelt werden.

                          Weit interessante Konsequenz als die obige:
                          Wir nehmen an, dass beide Tests die Kriterien der Reliabilität und Validität erfüllen und somit gültige Ergebnisse liefern.
                          Weil die Ergebnisse beider Tests im Widerspruch zueinander stehen, aber trotzdem als "wahr" angenommen werden, muss es verdeckte/intervenierende Variablen geben, die die Ergebnisse mindestens eines der Tests beeinflussen.
                          Folgerung: Es gibt intervenierende Variablen, die das Ergebnis eines unverblindeten Tests von dem eines verblindeten abweichen lassen.
                          Weil sich im BT keine Unterschiede vernehmen lassen, müssen die Variablen, die für die Unterscheidung zwischen den Geräten führen, im unverblindeten Test zu finden sein.
                          Gemeinsam ist beiden Tests das Testorgan: Die Ohren der Probanden. Es ist folglich auszuschließen, dass die Sinneseindrücke (das "reine" Hören der Musik) unterschiedlich SIND. Daraus folgt, dass die INTERPRETATION der Sinneseindrücke unterschiedlich sein muss.
                          Daraus folgt, dass nachdem das Ohr die Musik empfangen hat, diese mit unbewussten Gedankeninhalten "angereichert" wird und zu dem Gesamtkunstwerk "Musikhören" zusammengefügt werden, das Unterschiede zwischen den o.g. Geräten unbewusst "konstruiert", die aber bewusst als "Wahrheiten" - tatsächlich vorhanden - interpretiert werden.
                          Es gilt, diese Variablen zu finden.

                          Arbeitshypothese:
                          Es gibt verdeckte Variablen, die zu unterschiedlichen Ergebnissen zwischen einem BT und einem unverblindeten Test führen.

                          So könnte meiner Ansicht nach eine Grundlage für ein Testverfahren aussehen. Die Items müssten entwickelt und Fragebögen müssten entwickelt werden. Das ist durchaus möglich. Sollte die Arbeitshypothese widerlegt werden, müsste man sich wieder an die Ausgangslage begeben.
                          Sollte aber die Arbeitshypothese verifiziert werden, wäre das Ergebnis ziemlich interessant - um nicht zu sagen: niederschmetternd - für eine ganze Branche. :J

                          Obwohl: Für Menschen, die das Ergebnis annehmen, wird hier die ewige Suche nach "besser" und "mehr" beendet sein. Klar wäre dann nämlich, dass man sich immer wieder selbst "überlistet": Unterschiede werden konstruiert und deshalb entsteht ein nicht endender Prozess, die Hifi-Anlage verbessern zu wollen. Denn es gibt (in der Phantasie) immer ein "Besser". Das ist die berühmte Wurstangel: Man kann laufen und laufen, doch satt wird man nie.
                          Auf die Ergebnisse wäre ich mehr als nur gespannt...:H

                          Liebe Grüße,
                          Michael
                          Beste Grüße,
                          Mike

                          ____________________
                          Hier steht keine Signatur...

                          Kommentar


                            Zitat von Mike Beitrag anzeigen
                            Konsequenzen aus obigen Ergebnissen:
                            1.1 Der BT ist nicht reliabel und/oder nicht valide => Der BT muss verworfen werden.
                            1.2 Der unverblindete Test ist nicht reliabel und/oder nicht valide => Der unverblindete Test muss verworfen werden.
                            Hallo Mike,

                            es scheint aber schon so zu sein, dass bereits unterschiedliche Blintest-Designs beeinflussen, ob etwas gehört wird, oder nicht. Vor einiger Zeit hab ich hier diese Arbeit vorgestellt:

                            Dodds, Paul, Duncan, Philip, Williams, Nigel: Audio Capacitors. Myth or Reality?
                            AES Convention:124 (May 2008) Paper Number:7314

                            Da wurden Unterschiede im verblindeten ABX-Test nicht gehört, in verschiedenen ebenfalls verblindeten Präferenztests aber sehr wohl.

                            lg
                            reno

                            Kommentar


                              Zitat von Reno Barth Beitrag anzeigen
                              Hallo Mike,

                              es scheint aber schon so zu sein, dass bereits unterschiedliche Blintest-Designs beeinflussen, ob etwas gehört wird, oder nicht. Vor einiger Zeit hab ich hier diese Arbeit vorgestellt:

                              Dodds, Paul, Duncan, Philip, Williams, Nigel: Audio Capacitors. Myth or Reality?
                              AES Convention:124 (May 2008) Paper Number:7314

                              Da wurden Unterschiede im verblindeten ABX-Test nicht gehört, in verschiedenen ebenfalls verblindeten Präferenztests aber sehr wohl.

                              lg
                              reno
                              Hallo Reno,
                              okay, es gibt anscheinend BTestdesigns, die zu unterschiedlichen Ergebnissen kommen. Aber genau hier stellt sich wieder die Frage: Warum? Welches sind dort die Variablen, die hineinspielen?
                              Gut, die 20 Dollar will ich jetzt nicht ausgeben und ich habe auch keine Lust mich in ein neues Gebiet einzuarbeiten. Aber eines verstehe ich nicht: Weshalb sollte ein ABX-Test ungeeignet sein?


                              :R Zwischen den Schulmedizinern und der Homöpathie besteht ein ähnlicher Zwist: Ich weiß aus der Homöpathie, dass diese "Globuli" wirken sollen. Taten sie bei mir nie. Ich habe alles Mögliche ausprobiert. Der Erfolg: Null! Nichts hat sich verändert, außer mein Geldbeutel. Der wurde immer leichter.

                              Liebe Grüße,
                              Michael
                              Beste Grüße,
                              Mike

                              ____________________
                              Hier steht keine Signatur...

                              Kommentar


                                Aber halt, stopp!
                                Hier komme ich an eine Stelle, an die ich nicht ankommen will: Die gegenseitigen Anwürfe, man messe nicht "richtig" oder das "Falsche". Das sind Argumente, die lang und breit getreten worden sind.

                                Mir geht es darum: Es werden Unterschiede gehört. Dafür muss es eine Ursache geben. Also will ich herausfinden, WIE es dazu kommt, dass diese Unterschiede gehört werden.

                                Liebe Grüße,
                                Michael
                                Beste Grüße,
                                Mike

                                ____________________
                                Hier steht keine Signatur...

                                Kommentar

                                Lädt...
                                X
                                👍