Ankündigung

Einklappen
Keine Ankündigung bisher.

Blindtest Wien 02.12.2007: Ergebnisse

Einklappen
X
 
  • Filter
  • Zeit
  • Anzeigen
Alles löschen
neue Beiträge

    Was hat es dann deiner Meinung nach damit auf sich wenn:

    1) Hörst du Unterschiede?
    "JA" 10/20 rauskommt

    2) Welches gefällt dir besser?
    "Gerät A" 19/20 rauskommt

    Bei gleichen Geräten und ansonst gleichem Testaufbau.

    Das ist ja das was @Jakob damit sagen will, also dass die Fragestellung selbst wichtig ist.
    Und so ein Präfernzentest würde zeigen dass da ein Unterschied ist der die Hörer dazu veranlasst "Gerät A" als besseres zu hören.

    Ob dem nun wirklich so ist und solche Tests solche belastbaren Ergebnisse gebracht haben weiß ich nicht.

    mfg

    Kommentar


      Hallo,

      Eben, die Fragestellung beeinflusst den Wahrnehmungsfokus der Probanden.

      Wenn ich frage, ob A oder B besser gefällt, suggeriere ich implizit, dass es einen Unterschied zwischen A und B gibt. Der soll halt eben jetzt bewertet werden.
      Somit bemühen sich die Probanden, Unterschiede zu hören.

      Wir wissen aber, dass die menschliche Wahrnehmung den Hang zu falsch-positiven Ergebnissen hat (Typ 1 Fehler).

      Wenn ich also trotz fehlendem Beweis fur den Unzerschied einen Unterschied zwischen A und B implizit voraussetze, indem ich nach der Bewertung des Unterschieds frage, suggeriere ich bei den Probanden die Vorstellung, dass A und B unterschiedlich klingen.

      Damit laufe ich Gefahr, falsch-positive Ergebnisse zu forcieren.

      Genau deshalb dürfen selbst bei Präferenz-Tests Kontrollen nicht fehlen!



      BTW gibt es mE eine Seite Fragestellung, die zwischen den beiden steht.
      Meine Liste sie wie folgt aus.

      1. Kann man überhaupt einen Unterschied hören?
      2. Wie macht sich der Unterschied bemerkbar? (heller, dunkler, etc. also Charakterisierung)
      3. Was klingt besser (wird das hellere oder dunklere Klangbild bevorzugt? Also Präferenz)

      Diese Reihenfolge sollte man mE einhalten.
      Gleich mit 3. beginnen lässt zu viel Platz für Fehleinschätzungen.

      LG

      Babak
      Grüße
      :S

      Babak

      ------------------------------
      "Alles was wir hören ist eine Meinung, nicht ein Faktum.

      Alles was wir sehen ist eine Perspektive, nicht die Wahrheit!"


      Marcus Aurelius

      Kommentar


        klingt vernünftig - der sog. gesunde menschenverstand muss sich nicht immer mit den "wissenschaftlichen erfordernissen" reiben. klingt auch logisch, zuerst zu detektieren, ob überhaupt was da ist, dem nachzugehen sich lohnt.
        deshalb meine ziemlich einfache lösung für mich privat - dreh ich mich um, während hinter mir umgeschaltet wird, und ich nehm nix wesentliches wahr auf unterschiede bezogen, reicht mir persönlich das, um einmal zu einer ersten einschätzung, auch bez. der größenordnung möglicher unterschiede, zu kommen.
        das ist die situation, in der sich die meisten befinden.
        aber einen blindtest aufzuziehen, an dems nix zu kritteln gibt wär fein. wär ich auch gern dabei.
        wer tut sich das an?
        david machte sich die mühe, allerdings wissenschaftlich anscheinend nicht wasserdicht.
        es wär schön, wenn das thema mal ein für alle mal vom tisch wär. zumindest die wesentlichen punkte betreffend. aber immer nur diese argumentiererei ohne chance, wirklich mal überseinstimmung zu erzielen - letztlich solls ja in der praxis was bringen. und das heißt z.b., dass man sich eine menge geld sparen könnte, wenns gut läuft.
        gruß alex

        Kommentar


          Zitat von ra Beitrag anzeigen
          deshalb meine ziemlich einfache lösung für mich privat - dreh ich mich um, während hinter mir umgeschaltet wird, und ich nehm nix wesentliches wahr auf unterschiede bezogen, reicht mir persönlich das, um einmal zu einer ersten einschätzung, auch bez. der größenordnung möglicher unterschiede, zu kommen.
          Privat nehme ich nur noch langzeit-Tests, d.h. ich höre einen Zeitraum die Kombi A, dann eine Zeit die Kombi B. Den Wechsel versuche ich mds. zweimal von A nach B und zweimal B nach A. Für mich ist der Zeitpunkt des Umschaltens dann sehr deutlich und zeigt die Unterschiede, Bei aller Kritik ist das Verfahren für mich das Einfachste schlecht hin und das Deutlichste.

          Natürlich weiß ich, dass ich umschalte und ich weiß auch, wer spielt, wenn ich das selber mache. Das ist aber weit weniger Relevant als man vermutet, eben weil diue klanglichen Unterschiede dann wirklich deutlich sind, m.E. klarer als bei jedem 'schnellen' Test.

          Ciao DA

          Kommentar


            Zitat von Babak Beitrag anzeigen
            1. Kann man überhaupt einen Unterschied hören?
            2. Wie macht sich der Unterschied bemerkbar? (heller, dunkler, etc. also Charakterisierung)
            3. Was klingt besser (wird das hellere oder dunklere Klangbild bevorzugt? Also Präferenz)
            Wäre es nicht sinnvoll zu ermitteln, welche Unterschiede qulitativ unter den Umständen überhaupt detektiert werden können?

            ciao DA

            Kommentar


              Zitat von Che55e Beitrag anzeigen

              Wenn man fragt "was hat dir besser gefallen" dann geht der Lebensweltunsinn wieder los. Bringt doch nix. Oder versteh ich dich falsch?

              das kann man vermeiden. Es gibt aus der Codec-Entwicklung mittlerweile standardisierte, verblindete Tests. Der Witz dürfte eben sein, dass man damit auch dort Unterschiede findet, wo im ABX nichts gehört wird.

              lg
              reno

              Kommentar


                Zitat von Reno Barth Beitrag anzeigen
                das kann man vermeiden. Es gibt aus der Codec-Entwicklung mittlerweile standardisierte, verblindete Tests. Der Witz dürfte eben sein, dass man damit auch dort Unterschiede findet, wo im ABX nichts gehört wird.

                lg
                reno
                In dieser Diplom-Arbeit geht es um die "Differenzierbarkeit digitaler Aufzeichnungsverfahren": http://old.hfm-detmold.de/eti/projek.../xdslindex.htm
                Interessant finde Kapitel 6.2.2 "Wahrnehmungspsychologische Überlegungen".

                Liebe Grüße,
                Michael
                Beste Grüße,
                Mike

                ____________________
                Hier steht keine Signatur...

                Kommentar


                  Hallo

                  Zitat von Dragonsage Beitrag anzeigen
                  Wäre es nicht sinnvoll zu ermitteln, welche Unterschiede qulitativ unter den Umständen überhaupt detektiert werden können?
                  Fällt das nciht in die zweite Kategorie (wie macht sich der Unterschied bemerkbar)?

                  Zitat von ra Beitrag anzeigen
                  es wär schön, wenn das thema mal ein für alle mal vom tisch wär. zumindest die wesentlichen punkte betreffend. aber immer nur diese argumentiererei ohne chance, wirklich mal überseinstimmung zu erzielen - letztlich solls ja in der praxis was bringen. und das heißt z.b., dass man sich eine menge geld sparen könnte, wenns gut läuft.
                  Das wäre "nur" für die Kunden ein Vorteil.

                  Für die Hersteller und Händler wäre das ein Nachteil.
                  Die Branche lebt ja von diesem Graubereich, in dem sich jeder seine Nische sucht.



                  Daher:
                  Zitat von ra Beitrag anzeigen
                  wer tut sich das an?
                  Gute Frage...

                  Gewerbliche würden sich das weniger beteiligen wollen, denn das wäre riskant.

                  Ohne Graubereich müsste vielleicht eine Fraktion die Seite wechseln.
                  Welche Seite das ist, weiß im Moment niemand.

                  Wenn man schon auf ein Pferd setzt, dann auf eines, von dem man sicher weiß, dass es gewinnt.
                  Am besten lässt man sein Pferd gar nicht beim Rennen antreten. ;)


                  Kunden müssten sich erst zusammenschließen.
                  Das wird schwer sein, da jene wenigen, die an dem Thema interessiert sind, recht weit auseinander wohnen.
                  Doch so ein methodisch sauberer Test ist mit einem größeren Aufwand verbunden, den man nicht an einem Tag abarbeiten kann.

                  Es wird praktisch nicht möglich sein, die beteiligten zu mehreren Terminen an einen Ort zu bringen.

                  Und Privatmenschen haben weder die Räumlichkeiten, noch das Equipment.
                  Oder kann jemand seinen Hörraum über einen Zeitraum von paar Wochen zur Verfügung stellen und ihn dazwischen unbenutzt lasen?
                  Kann jemand für ein paar Wochen auf Gerätschaften verzichten und sie paar 100 km entfernt lassen? :G



                  Forschungsinstitute sind im Moment nicht daran interessiert, weil das Thema fachlich zu wenig Erkenntnisgewinn bietet.
                  Oder was wäre da die große neue Erkenntnis z.B. für das Institut für Psychologie? :Y


                  Ja, so etwas wäre sinnvoll.
                  Aber es ist utopisch.
                  :C

                  Die Welt wird sich auch ohne diese Erkenntnis weiter drehen.
                  Die Leute würden auch mit dieser Erkenntnis weiter streiten.
                  Also warum der Aufwand?


                  LG

                  Babak
                  Zuletzt geändert von Babak; 07.03.2011, 12:29. Grund: Tippfehler hinzugefügt ...
                  Grüße
                  :S

                  Babak

                  ------------------------------
                  "Alles was wir hören ist eine Meinung, nicht ein Faktum.

                  Alles was wir sehen ist eine Perspektive, nicht die Wahrheit!"


                  Marcus Aurelius

                  Kommentar


                    Zitat von schauki Beitrag anzeigen
                    Was hat es dann deiner Meinung nach damit auf sich wenn:

                    1) Hörst du Unterschiede?
                    "JA" 10/20 rauskommt

                    2) Welches gefällt dir besser?
                    "Gerät A" 19/20 rauskommt
                    Ganz einfach: Wenn sich beide, 1) und 2) unter Wiederholung halten koennen, dann heisst dass das entweder 1) oder 2) nicht die Tests sind fuer die man sie haelt. Ich nehme an, dass ist euer Punkt? Umgekehrt: Wenn es keine Unterschiede gibt, dann darf ein fehlerfeier Test auch keinen liefern.

                    Kommentar


                      Hallo

                      Zitat von Che55e Beitrag anzeigen
                      Ganz einfach: Wenn sich beide, 1) und 2) unter Wiederholung halten koennen, dann heisst dass das entweder 1) oder 2) nicht die Tests sind fuer die man sie haelt.
                      Ich würde mir mal die Kontrollen ansehen, wenn vorhanden. ;)

                      LG

                      Babak
                      Grüße
                      :S

                      Babak

                      ------------------------------
                      "Alles was wir hören ist eine Meinung, nicht ein Faktum.

                      Alles was wir sehen ist eine Perspektive, nicht die Wahrheit!"


                      Marcus Aurelius

                      Kommentar


                        Der Haupt-punkt von Richard und Jakob ist aber auch so richtig, denke ich; Es heisst ja nur, dass manche Fragestellungen zu sensitiveren Tests fuehren als andere; ein Praeferenz-test ist ja trotzdem gleichzeitig ein A/B test (den Punkt hatte ich nicht mitbekommen weil ich 90% schreibe und 10% lese).
                        Trotzdem waers in dieser Situation super einen fake-Test ohne Unterschiede zu haben. Deswegen ist ja in der Medizin doppelt-blind ueblich;

                        Kommentar


                          Hallo

                          Bei einem Test ist nicht nur die Sensitivität wichtig, sondern auch die Spezifität.

                          Oft sinkt mit steigender Sensitivität die Spezifität.
                          Es werden auch Dinge detektiert, die nicht detektiert werden sollen.
                          Es gibt mehr falsch-positive Ergebnisse
                          Mehr Typ 1-Fehler.

                          Jeder kennt das:
                          Wenn man bei einer DigiCam die Sensitivität erhöht (ISO-Einstellung auf 6400), dann rauscht es (je nach verwendetem Chip) deutlich mehr, es werden Pixelmuster sichtbar, die es so nicht gibt.

                          Um die Spezifität zu beobachten, braucht man eben Kontrollen.
                          Dieser "Fake-Test" Wäre ja eine solche Kontrolle.

                          Kontrollen wären also nicht nur super, sondern sie sind notwendig, um das Ergebnis richtig interpretieren zu können.

                          LG

                          Babak
                          Zuletzt geändert von Babak; 07.03.2011, 14:01.
                          Grüße
                          :S

                          Babak

                          ------------------------------
                          "Alles was wir hören ist eine Meinung, nicht ein Faktum.

                          Alles was wir sehen ist eine Perspektive, nicht die Wahrheit!"


                          Marcus Aurelius

                          Kommentar


                            Ich weiß nicht ob das jetz hier her passt:
                            Wenn ich den Eindruck habe dass meine HiFi Anlage 'heute nicht gut klingt' lasse ich für 10-15 Minuten bei Zimmerlautstärke eine Test-CD mit Rosa Rauschen laufen - mit solchermaßen 'eingerauschtem' Gehör klingt's meistens danach so wie's sein soll. Wenn das nix nutzt sitzt wahrscheinlich ein Schnupfen oder sonstwas in den Ohren. Jedenfalls lässt sich das Gehör mit Rosa Rauschen gut 'einstellen' - ähnlich wie Geschmackstester zwischendurch den Mund ausspülen ....

                            Grüße, dB
                            don't
                            panic

                            Kommentar


                              @Babak
                              Wobei der betrachtete Fall ja eine Ausnahme ist. Die hoehere Spezifitaet korreliert hier scheinbar mit hoeherer Sensitivitaet. Das ist aber insofern kein Wunder, als der Mensch kein simpler Sensor ist. Der kann ja "so" oder "anders" zuhoeren, das ist bei einem Sensor ja normalerweise nicht der Fall.
                              @dB
                              Also morgens beim dem Zaehneputzen Kopfhoerer aufsetzen und ein bisschen einrauschen, dann kann nix schiefgehen!

                              Kommentar


                                Auf dieser Seite ist die Liste der ITU-R BS (Empfehlungen Broadcast Sound) einsehbar; die Links führen weiter auf die jeweiligen Download-Seiten in verschiedenen Formaten. Wie gesagt, seit einiger Zeit sind die vorher kostenpflichtigen freigegeben zum Download:



                                Für uns interessant ist die genannte ITU-R BS.1116-1 , die speziell auf die subjektive Einschätzung von kleinen (Klang)unterschieden abzielt. Schauki hatte es erwähnt, diese Richtlinie kam z.B. bei der Codec-Evaluation zum Einsatz, die Methode ist auch bekannt unter der Bezeichnung ABC/HR (HR steht für Hidden Reference).



                                Doppelblind sind die Verfahren alle, aber jedes birgt Potential für zusätzliche, unterschiedliche Einflussgrößen/Störfaktoren.

                                Denn es ist keineswegs so, daß Teilnehmer in kontrollierten Tests per se besser/richtiger hören; erkennbar z.B. an der enorm hohen Rate falscher Antworten, wenn zweimal hintereinander das gleiche Signal präsentiert wird.

                                Genau das ist der Grund, weshalb wir so oft auf dem Punkt der Positiv- und Negativkontrollen "herumreiten" . :)

                                Es ist mE eine berechtige Annahme, daß Training unter den jeweiligen Abläufen die Unterschiede nivelliert.

                                Das ABC/HR-Verfahren ist insofern interessant, als daß es grundsätzlich in jedem Versuch eine Positivkontrolle eben in Form der verdeckten Referenz mit beurteilen läßt. Falls ein Versuchsteilnehmer die verdeckte Referenz konstant schlechter bewertet als die offene Referenz, dann könnte man ihn nachträglich aus der Wertung nehmen.

                                Gruß


                                P.S. Der Empfehlungstext geht in aller Kürze auf viele verschiedene Aspekte ein, betont aber gleichzeitig, daß man aufgund des beschränkten Raumes der komplexen Thematik nicht gerecht werden kann und empfiehlt deshalb die Beratung durch einen Testexperten. :)

                                P.P.S Sofern die einzelnen Durchgänge eines Tests wirklich unabhängig voneinander sind, das "Doppelblindkriterium" erfüllt ist und die Durchgangszahlen ausreichend hoch für das gewünschte Signifikanzniveau sind, dann kann es keine größere Zahl falschpositiver Testresultate mehr geben. Die Gefahr falschnegativer Resultate besteht aber immer noch.
                                Zuletzt geändert von Jakob; 07.03.2011, 14:55.
                                Gewerblicher Teilnehmer. Entwicklung, Herstellung und Vertrieb von Audiotechnik. (u.a.)

                                Kommentar

                                Lädt...
                                X
                                👍