Ankündigung

Einklappen
Keine Ankündigung bisher.

Blindtestdesign - damit man endlich mal was hört

Einklappen
X
 
  • Filter
  • Zeit
  • Anzeigen
Alles löschen
neue Beiträge

    Blindtestdesign - damit man endlich mal was hört

    Aus zwei abgetrennten Threads abgetrennt und wieder zusammengepickt:
    lg wolfgangmod



    Hallo
    Original von awehring
    Die einzelnen Schritte könnten sein:

    1. „Normaler“ Hörvergleich, sehend, ohne messtechnische Anpassung der Lautstärke.
    2. Anpassung der Lautstärke mithilfe Messgerät.
    3. Verwendung der Umschaltbox und damit verzögerungsfreie Umschaltung.
    4. "Vorhang zu": Hörvergleich, ohne die Geräte zu sehen.
    5. A-B Vergleich, wobei man noch weiß welches Gerät A und welches B ist.
    6. Anonymisierung: direkter Vergleich zwischen A und B ohne zu wissen welches Gerät welches ist.
    7. Blindtest: saubere ABX Vergleich.

    Was haltet ihr von der Idee?

    Natürlich müssen bei diesem Ablauf die Testhörer ehrlich mit sich selbst sein. Wenn das gelingt, müsste man einen grossen Schritt weiter sein bei der Lösung dieses Rätsels.
    Darf ich da einen methodischen Input aus der Ecke Wissenschaft/Pharmazie geben?

    Mit den angeführten Ansätzen beantwortet man verschiedene Fragen.

    Vor Gestaltung eines Blinversuchs sollte definiert werden, WAS gezeigt/nachgewiesen/ausgeschlossen werden soll.
    • Ob es einen Unterschied zwischen den verglichenen Geräten gibt?
    • Worin sich der Klang der Geräte unterscheidet?
    • Ob es verschiedene Ergebnisse gibt, wenn jemand selber schaltet, weiss dass geschaltet wird, nicht weiss, dass umgeschaltet wird?
    • Ob es einen Untrschied macht, ob der Proband die geräte sieht oder nicht?
    • etc.


    Das entscheidet, wie der Versuchsaufbau gestaltet wird.

    Wenn es darum geht, ob es einen Unterschied gibt, bzw. was der Unterschied ist, würde ich[list=a][*]die Geräte verdecken[*]nur 2 Geräte vergleichen, keine 3 oder 4[*]Pegel unbedingt angleichen[*]jemanden umschalten lassen, nicht den Probanden selber[*]evtl auch jemanden umschalten lassen, der nicht weiss, welche Geräte angehängt sind, also auch ihm gegenüber verblinden[*]eine dritte Person führt Protokoll (auch verblindet gegenüber den Geräten)[*]eine fixe umschaltsequenz vorgeben, die bei allen Probanden durchgeführt wird, z.B. alle 5 oder 10 Sekunden, unregelmäßige Abfolge[*]damit das Ergebnis statistisch relevant ist, sollte die Zahl der Wechsel relativ hoch sein, vielleicht 20[*]das Ergebnis sollte statistisch ausgewertet werden, mit Standardabweichungen, Ausreisser-tests usw.[/list=a]

    Die Wahl des Materials ist da schon heikler:

    Vorschlag wäre, unterschiedliche Files zu nehmen, immer mit gleicher Anzahl von Wechseln (unterschiedliche Sequenzen), z.B.:
    [list=1][*]rosa Rauschen[*]ein Klassisches Stück[*]ein Jazziges Stück )akustisch)[*]ein Rockiges Stück (Studio-Setting)[*]ein elektronisches Stück (synthetisch)[/list=1]

    Würde zusammen 100 Datenpunkte pro Proband ergeben.

    man muss die Stücke so wählen, dass sich das Spiel nicht sehr verändert, also ein gleicher Level über längere zeit gehalten wird.
    Sonst ist es schwer, innerhalb eines Stücks zu vergleichen. gerät A spielt das leise Vorspiel, dann wird umgeschaltet und Gerät B geht in den stürmischen hauptteil. Das bringt wenig.

    Oder man Spielt immer dasselbe Stück von der selben Stelle an.


    Man kann 2 Optionen wählen:
    [list=a][*]Frage, OB es einen Unterschied gibt[*]Frage, WAS der Unterschied ist[/list=a]

    a. Gibt es einen Unterschied?
    Ergebnis: Ja oder nein, das gibt auch der Proband an, wenn umgeschaltet wird.

    Man kann es auch verschärft durchführen:
    Die Wechsel werden nicht angesagt, sondern der Proband rät, wann umgeschaltet wird ;)


    b. Was ist der Unterschied?
    Hier wird nicht nur mit "Gerät A" oder "Gerät B" geantwortet.

    Es werden vorher Kriterien definiert (z.B. Detail, Bühne, Lokalisierung, Natürlichkeit, Dynamik, was auch immer, muss noch abgesprochen werden).
    Für jedes Kriterium kann der Proband die Noten +, - oder neutral angeben, und das bei jedem Wechsel.
    Daher sollten es wenige Kriterien sein.

    Aus dem Bauchgefühl heraus würde ich erst die erste Option wählen (ja/nein), und dann erst bei einem statistisch signifikanten "ja" in die Option 2 übergehen, um den Unterschied zu beschreiben.

    Irgendwelche konzeptionellen Inputs?

    LG

    Babak
    Grüße
    :S

    Babak

    ------------------------------
    "Alles was wir hören ist eine Meinung, nicht ein Faktum.

    Alles was wir sehen ist eine Perspektive, nicht die Wahrheit!"


    Marcus Aurelius

    #2

    Meine Absicht war, das ganze auf eine fundierte methodische Basis zu stellen, sodass die Ergebnisse nicht mehr so leicht angefochten werden können.


    LG

    Babak
    Das BT-Design, dass nicht angezweifelt wird gibt es nicht. Der letzte BT war methodisch ausreichend, die Ergebnisse für alle Beteiligten überraschend.
    Wir sind ja dort nicht zusammengekommen um zu beweisen, dass es keine Klangunterschiede gibt.
    Du hättest die ratlosen Gesichter sehen sollen, wie zwischen Cambridge und Accuphase hin und hergeschaltet wurde....

    LG
    Harry

    Kommentar


      #3
      Hallo Harry
      [quote]Original von Harry

      Das BT-Design, dass nicht angezweifelt wird gibt es nicht. Der letzte BT war methodisch ausreichend, die Ergebnisse für alle Beteiligten überraschend.
      Wir sind ja dort nicht zusammengekommen um zu beweisen, dass es keine Klangunterschiede gibt.
      Du hättest die ratlosen Gesichter sehen sollen, wie zwischen Cambridge und Accuphase hin und hergeschaltet wurde....

      LG
      Harry
      es gibt aber bessere Designs und schlechtere.
      Und wenn man die Geräte sieht, die Testperson selber umschaltet, immer andere Musikstücke verwendet werden, ist das Ergebnis weniger objektivierbar.

      Das Ziel sollte weder sein zu zeigen, dass es einen Unterschied gibt, noch, das es keinen Unterschied gibt.
      sondern
      zeigen, ob es einen gibt oder nicht, also eine neutrale Vorgehensweise.

      Und das mit einer Methode, die möglichst viele subjektive Einflüsse ausschließt, damit ein möglichst objektives Ergebnis am ende da steht.

      Da können auch alle kommen, die meinen, einen Unterschied zu hören, und alle, die meinen, es gäbe partout keinen Unterschied. Leute mit "geschultem gehör", Leute mit ungeschultem Gehör, die Frau im Nebenraum (die oft als Referenz angegeben wird), usw...

      Bisher gibt es noch Schlupflöcher, bei denen irgendwer aus egal welchem Lager sagen kann: "aber trotzdem".

      Man liest ja die Reaktionen auf den letzten Test, auch in anderen Foren. geht alles in diese Richtung.

      Ist das ganze Methodisch sauber, so kann es nimmer solche Diskussionen geben.

      Man weiss dann besser oder nachweisbarer: redet man von wahrnehmbaren Unterschieden oder von suggerierten Unterschieden.

      Sind es echte Unterschiede, kann man weiter gehen: wo liegen die Unterschiede, wie groß sind sie, wodurch entstehen sie, etc...

      Sind es suggerierte Unterschiede, kann man diskutieren, wer suggeriert was, wie wird suggeriert, warum lassen wir uns gerne beeinflussen, etc.

      Im Moment laufen alle diese Themen durcheinander...


      Die Durchführung, die Methodik des BT's ist die Basis für das alles.
      Sie bestimmt, wie viele Hintertürchen offen bleiben.

      LG
      Grüße
      :S

      Babak

      ------------------------------
      "Alles was wir hören ist eine Meinung, nicht ein Faktum.

      Alles was wir sehen ist eine Perspektive, nicht die Wahrheit!"


      Marcus Aurelius

      Kommentar


        #4
        Babak,

        wir haben die Geräte NICHT direkt gesehen. Die standen im Nebenraum.

        Ich verstehe deinen Ansatz und unterschreibe ihn auch. Du hast ja, rational betrachtet in allem Recht. Aber es wird trotzdem nichts ändern, weil es ums Glaubensgrundsätze geht.

        Wenn ich mir einen Supadupa-Verstärker um horrendes Geld kaufe, will ich nicht akzeptieren, dass der Cambridge (oder Rotel, NAD,...) gleich KLINGT.

        Trotzdem hat eine methodische Verfeinerung den Vorteil, dass gewisse Goldohren schon sehr kreativ nach Argumenten suchen müssen. Also ist eine Ideensammlung für den nächsten BT eh angesagt :S

        Kommentar


          #5
          Da isser, der neue Blindtest-Thread!

          lg wolfgangmod

          Kommentar


            #6
            Original von Babak
            Darf ich da einen methodischen Input aus der Ecke Wissenschaft/Pharmazie geben?
            Nichts lieber als das :F
            Ich Teile die Meinung in dem posting.

            Original von Babak

            Die Wahl des Materials ist da schon heikler:

            Vorschlag wäre, unterschiedliche Files zu nehmen, immer mit gleicher Anzahl von Wechseln (unterschiedliche Sequenzen), z.B.:
            [list=1][*]rosa Rauschen[*]ein Klassisches Stück[*]ein Jazziges Stück )akustisch)[*]ein Rockiges Stück (Studio-Setting)[*]ein elektronisches Stück (synthetisch)[/list=1]

            Würde zusammen 100 Datenpunkte pro Proband ergeben.

            man muss die Stücke so wählen, dass sich das Spiel nicht sehr verändert, also ein gleicher Level über längere zeit gehalten wird.
            Sonst ist es schwer, innerhalb eines Stücks zu vergleichen. gerät A spielt das leise Vorspiel, dann wird umgeschaltet und Gerät B geht in den stürmischen hauptteil. Das bringt wenig.

            Oder man Spielt immer dasselbe Stück von der selben Stelle an.

            Babak
            Bei der Auswahl der Stücke sollten auf jeden Fall auch Stimmen (Frau / Mann) dabei sein.

            Zur Zielrichtung der Untersuchungen:

            Am liebsten wäre mir, wenn man herausfinden kann, woher die Diskrepanz zwischen gehörten Unterschieden in "normalen" Tests und nicht hörbaren Unterschieden im Blindtest kommen. Wenn man dazu Indizien sammeln und Erkenntnisse gewinnen kann, sind wir einen Schritt weiter. Klar werden die Anfangs noch umstritten sein, aber dann kann man diese in weiteren Untersuchungen klären.

            (So funktioniert Wissenschaft ganz offiziell: Eine These gilt, bis das Gegenteil bewiesen ist. Indizien aus Versuchen, die die These stützen sind natürlich willkommen - oder sie beweisen, dass die These nicht mehr haltbar ist.)

            Grüsse

            awehring

            Kommentar


              #7
              Noch eine Idee.

              Wieso nimmt man den Begriff "Blindtest" nicht wörtlich? Man könnte eine(n) Blinde(n) mit einladen. Mit ihrem aussergewöhnlich trainierten Gehör könnte er/sie sozusagen als "amtliches" Goldohr dienen.

              Mir kam die Idee, weil ich vor einiger Zeit in Zürich im Restaurant "Blinde Kuh" war. Das wird von Blinden geführt und ist komplett verdunkelt. Als Gast erlebt man dann, wie blind sein ist. Man wird von Blinden hineingeführt, zuerst durch einen normal eingerichteten Wohnraum, eine "Strasse" etc. dann ins eigentliche Restaurant und am Schluss an eine Bar. Ist ein sehr spannendes Erlebnis. Banale Fragen werden plötzlich interessant, z. B.: Kann ich mich auf diesen Stuhl setzen oder sitzt da schon jemand?

              Am meisten beeindruckt hat mich, dass sich die Verhältnisse auf einmal umkehren: Die Blinden bewegen sich so geschickt, als könnten sie im dunkeln sehen. Sie hören mühelos, ob jemand da steht oder sitzt bzw. schlängeln sich höchst sensibel durch eine Gruppe von Leuten. Selbst stösst man dauern mit anderen Personen oder Gegenständen zusammen.


              Für den Blindtest könnten man beim Blindenverband anfragen, ob jemand Interesse an einer Teilnahme hat. Ideal wäre natürlich jemand, der selbst Musik macht und den Klang von Instrumenten gut kennt.

              Grüsse

              awehring

              Kommentar


                #8
                Auch an dieser Stelle: her mit allen Leuten und mit allen Geräten die uns weiterbringen. Überlegt was wir besser machen können und bringt Geräte mit, die mit ziemlicher Sicherheit klanglich aus der Reihe tanzen. Nehmt eine originale CD mit und eine mit gleichem Inhalt, aber mit (bestimmten!) Klangveränderung(en).
                Das alles ist nicht nur interessant, es bringt uns auch weiter.

                Nächster Termin? Idee?

                Gruß
                David
                Gruß
                David


                WEBSEITE HiFiAKTIV: Klick mich
                Einen "Audio-Laien" erkennt man daran, dass er sich viel mehr mit Audiokomponenten beschäftigt als mit Raumakustik, LS-Aufstellung und Hörplatzwahl.
                Auch Personen, die noch wenig Wissen auf diesem Gebiet haben, oder solche, die Rat und Hinweise von Erfahrenen suchen, sind hier richtig.
                Meine Auffassung von seriösen Vergleichstests: Klick mich - Die bisherigen Testergebnisse: Klick mich - Private Anlage: Klick mich - Wann gefällt mir ein Musikstück? - Klick mich
                Grundsätzlich: Behauptungen die mir bedenklich erscheinen, glaube ich nur, wenn sie messtechnisch nachvollziehbar sind und wenn sie mir in Form eines verblindeten Vergleichs bewiesen werden konnten.
                Eine Bitte an Alle: nicht ganze (noch dazu große) Beiträge zitieren und darunter einen kurzen Kommentar schreiben! Besser (beispielsweise): "Volle Zustimmung zu Beitrag 37".
                Wichtig: zumindest versuchen, beim Thema bleiben!

                Kommentar


                  #9
                  Ganz richtig. Es wäre interessant einmal einen wirklich blinden Menschen dabei zu haben. Wollten wir schon oft machen, aber woher nehmen?

                  Man könnte eventuell einmal im Blindenheim anrufen, vielleicht gibt es dort Jemanden den das auch interessiert und der sich mit Musik beschäftigt.

                  Gruß
                  David
                  Gruß
                  David


                  WEBSEITE HiFiAKTIV: Klick mich
                  Einen "Audio-Laien" erkennt man daran, dass er sich viel mehr mit Audiokomponenten beschäftigt als mit Raumakustik, LS-Aufstellung und Hörplatzwahl.
                  Auch Personen, die noch wenig Wissen auf diesem Gebiet haben, oder solche, die Rat und Hinweise von Erfahrenen suchen, sind hier richtig.
                  Meine Auffassung von seriösen Vergleichstests: Klick mich - Die bisherigen Testergebnisse: Klick mich - Private Anlage: Klick mich - Wann gefällt mir ein Musikstück? - Klick mich
                  Grundsätzlich: Behauptungen die mir bedenklich erscheinen, glaube ich nur, wenn sie messtechnisch nachvollziehbar sind und wenn sie mir in Form eines verblindeten Vergleichs bewiesen werden konnten.
                  Eine Bitte an Alle: nicht ganze (noch dazu große) Beiträge zitieren und darunter einen kurzen Kommentar schreiben! Besser (beispielsweise): "Volle Zustimmung zu Beitrag 37".
                  Wichtig: zumindest versuchen, beim Thema bleiben!

                  Kommentar


                    #10
                    Original von Hifiaktiv
                    Wollten wir schon oft machen. Gruß
                    David
                    sorry, wenn ich hier alte Themen aufwärme, bin erst kürzlich über dieses Forum gestolpert. Finde es aber wirklich herausragend gut, vor allem auch was da auf die Beine gestellt wird.

                    Grüsse

                    awehring

                    Kommentar


                      #11
                      IMHO

                      Aufgrund der allseits bekannten Tatsache dass sich 'moderne' Gerätschaften in ihren Wiedergabeeigenschaften sehr ähnlich sind und somit während eines BT's in akustisch fremder Umgebung bzw. Testanordnung innerhalb kurzer Zeit schwer zu differenzieren sind, sollten die Teilnehmer zumindest die Möglichkeit haben die zum Test herangezogenen Musikstücke oder Signale 'auswendig zu lernen'. D.h. wochenlang immer wieder zu Hause hören und absolut genau einprägen. Auch wenn ein BT in einer locker freundschaftlichen Atmosphäre stattfindet entsteht unter Konzentration ein gewisser Druck. Fremde Umgebung, neue Bekanntschaften, neue (akustische) Eindrücke, relativ wenig Zeit, evtl. auch eine gewisse Hilflosigkeit bis hin zur Resignation. Ist schon viel was da plötzlich auf einen einwirkt. Ob das menschliche Gehirn unter solchen Umständen überhaupt in der Lage ist, sprichwörtlich 'das Gras wachsen' zu hören ? Ich meine dazu gehört langes intensives Training. Da hilft sicher schon mal entlastend wenn man weiß 'was gespielt wird'. In diesem Fall sollte man vorher sogar abstimmen mit welchen Musikstücken getestet werden soll - es mag ja nicht jeder alles. Ich z.B. kann mich alleine zu Hause mit Sicherheit auf das wesentliche konzentrieren, in die Musik förmlich hineinkriechen. In einer fremden Umgebung kann ich mich nicht richtig gegen fremde Einflüsse abkanzeln.

                      Was geschieht während eines BT's eigentlich in mir ?
                      Abgesehen davon dass ich hauptsächlich den 'völlig anderen' Klang der Testanlage wahrnehme, geht mir da vieles andere durch den Kopf.
                      Ich suche 'live' Anhaltspunkte finde aber keine weil ich das Stück evtl. nicht oder wenig kenne, frage mich ist das A oder B, soll ich jetzt umschalten, oder hat jemand schon umgeschaltet, sind im Hintergrund störende Gräusche, spricht gar jemand leise, war das jetzt falsch oder richtig, schaut mir jemand zu, wie oft war das jetzt richtig, ist das die richtige Lautstärke, es klingt überhaupt alles anders, hat das alles einen Sinn ....

                      Klar, ich könnte jetzt meinen BT's sind Käse - tue ich aber nicht, weil ich auch keine richtigere Alternative sehe als zu versuchen BT's besser zu machen.

                      Grüße, dB
                      don't
                      panic

                      Kommentar


                        #12
                        Hallo
                        Original von ken
                        Da isser, der neue Blindtest-Thread!

                        lg wolfgangmod
                        Danke :M
                        Grüße
                        :S

                        Babak

                        ------------------------------
                        "Alles was wir hören ist eine Meinung, nicht ein Faktum.

                        Alles was wir sehen ist eine Perspektive, nicht die Wahrheit!"


                        Marcus Aurelius

                        Kommentar


                          #13
                          Ich bin zu allen "Schandtaten" bereit. Wir können die Blindtests auch - wenn gestattet - bei einem User (in nicht allzuweiter Entfernung) zu Hause machen.

                          Gruß
                          David
                          Gruß
                          David


                          WEBSEITE HiFiAKTIV: Klick mich
                          Einen "Audio-Laien" erkennt man daran, dass er sich viel mehr mit Audiokomponenten beschäftigt als mit Raumakustik, LS-Aufstellung und Hörplatzwahl.
                          Auch Personen, die noch wenig Wissen auf diesem Gebiet haben, oder solche, die Rat und Hinweise von Erfahrenen suchen, sind hier richtig.
                          Meine Auffassung von seriösen Vergleichstests: Klick mich - Die bisherigen Testergebnisse: Klick mich - Private Anlage: Klick mich - Wann gefällt mir ein Musikstück? - Klick mich
                          Grundsätzlich: Behauptungen die mir bedenklich erscheinen, glaube ich nur, wenn sie messtechnisch nachvollziehbar sind und wenn sie mir in Form eines verblindeten Vergleichs bewiesen werden konnten.
                          Eine Bitte an Alle: nicht ganze (noch dazu große) Beiträge zitieren und darunter einen kurzen Kommentar schreiben! Besser (beispielsweise): "Volle Zustimmung zu Beitrag 37".
                          Wichtig: zumindest versuchen, beim Thema bleiben!

                          Kommentar


                            #14
                            Ich frage mich, was am letzten BT-Design eigentlich unzureichend gewesen sein soll :Y

                            Man konnte:

                            mit eigener Musik,
                            gewünschter Lautstärke,
                            nach einer Einhörphase,
                            mit einer tollen Umshaltbox und
                            professioneller Einpegelung
                            die Gerätschfaften blind vergleichen.

                            Was ist daran unzureichend?

                            Kommentar


                              #15
                              Original von Harry

                              Was ist daran unzureichend?
                              nichts

                              Kommentar

                              Lädt...
                              X
                              👍