Ankündigung

Einklappen
Keine Ankündigung bisher.

Irrungen und Wirrungen rund um Blindtests

Einklappen
X
 
  • Filter
  • Zeit
  • Anzeigen
Alles löschen
neue Beiträge

    Zitat von Jakob Beitrag anzeigen
    Es würde mich schon interessieren, weshalb es "fast an allem mangelt" in dieser Arbeit.

    Da die statistische Auswertung mE bislang in den veröffentlichten PDFs fehlt (wie man diese Daten normalerweise auswertet, hatte ich kürzlich in einem Beitrag skizziert), ist mir auch nicht klar, wie man auf das Fehlen selbst "absoluten Basiswissens" schliessen kann?!

    Gruß
    Einige Kritikpunkte:
    • Die Daten wurden eben NICHT ausgewertet, sondern einfach frei interpretiert. Das zeigt eben genau, dass kein Basiswissen in Statistik vorhanden war. Statistisch sind die Hypothesen jedenfalls nicht untersucht worden. Ein Lehrbuch zu Statistik hat der Autor mit Sicherheit noch nie von Innen gesehen.
    • Jede Menge allgemeines Blabla, aber der Versuchablasuf selbst ist so gut wie nicht beschrieben. Wurde mit Player "L" oder "R" gestartet? Wie wurde entschieden, mit welchem Player gestartet wurde? Alleine das Fehlen dieser Informationen macht die Arbeit wertlos. Wie gross war der Zeitabstand zwischen dem Umschalten von "L" und "R"? Blieben die Probanden alle am selben Platz sitzen? Wie wurden die Sitzplaetze zugewiesen? Usw...
    • Warum gabs es nur 3 Bewertungskategorien? Warum nicht 7 (z.B. nach ITU-T P.800)?
    • Wie gross ist denn die Streuung, wenn man ein Kabel mit sich selbst vergleicht? Waehlen die Probanden dann alle "kein Unterschied"? Ich bezweifle das. Haengt es vom Stueck ab, ob man es beim ersten hoeren oder beim nochmaligen Hoeren als angenehmer empfindet? Aber wie gross wird die Abweichung sein? Das haette man Kontrollieren muessen, indem man nicht nur AB (ob BA stattfand laesst sich ja nicht einmal sagen...), sondern auch AA und BB vergleicht. Das waere allemal sinnvoller gewesen als der Unsinn mit der klangoptimierten CDs.
    • Warum wurde ueberhaupt mit der "wiedergabeoptimierten" CD ein weiterer Parameter in den Test eingefuehrt?
    • Kap 5 (1): Diese Hypothese ist in drei von fuenf moeglichen Faellen falsifiziert worden. Hae? Ist die Hyptothese nun falsiziert oder nicht? Wenn man die Daten mal ueber die Titelgrenzen zusammenfasst, dann bleibt nicht mehr viel uebrig. Die weiteren Schlussfolgerungen sind genauso abenteuerlich, weil statistisch einfach nicht untersucht. Wie gesagt: Der Autor hat offensichtlich keinerlei Wissen in Statistik, nicht einmal auf Schulniveau: Schon da lernt man wie man eine Hyptothese testet.


    Das alles sind auch keine "abstrusen Forderungen", das ist was die Fachliteratur empfiehlt (z.B. Bech/Zacharov: Perceptual Audio Evaluation). Es gibt Empfehlungen der ITU-T...
    Wenn z.B. das eine Zusammenfasung von Hager/Spies ist, dann beherzigt Sturm nicht einmal seine eigenen Literaturangaben.

    So bleibt wie gesagt von der Aussagekraft der Arbeit nichts uebrig. Und das bedauere ich.

    Lg
    Christoph

    Kommentar


      Das ist ja das Schöne an solchen Unterstellungen, sie werden gern genommen, wenn es sonst an Argumenten mangelt- sozusagen die letzte Verteidigungslinie im Selbstimmunisierungskampf.
      Den Rückzug auf die letzte Verteidigungslinie darf man wohl eher denen "vorwerfen", die in erster Linie kommerzielles Interesse mitbringen. Die willkürlich ausgelegte Wahrnehmungsebene kann man z.B. als letzte Verteidigungsebene betrachten.

      Interessant ist in diesem Zusammenhang, dass Leute von deinem Schlag selbst völlig inaktiv bleiben, und allenfalls vorgeben, sich mit dem Thema praktisch auf sinnvoller Ebene zu beschäftigen.

      Das ist auch der Grund dafür, dass einer von deinem Schlag niemals konkrete Aussagen macht, oder detaillierte Informationen veröffentlicht.
      Sowas würde dich "angreifbar" machen....Du müsstest die (leeren) Hosen runterlassen.....Dieser "Blamage" weichst du seit Jahren gezielt aus.
      Ich kann nur hoffen, dass du wenigstens bemerkst, dass man dir dein "Gehabe" nicht abkauft.

      Deine "Jakobfixierung" in allen Ehren, aber des Forschers Alltag _ist_ mühsam, und bei empirischen Untersuchungen läuft beileibe nicht alles nach Wunsch.
      Das ist nicht deine Baustelle....Du bist Geschäftsmann, kein Forscher.

      Nenn doch dann bitte ein paar andere Quellen, auf die wir uns stützen sollen.
      Deine Quellen sind in der Regel getarnte Werbekampagnen. Der Sturmsche Kabeltest ist nur die Spitze des Eisbergs.
      Interessant wären detaillierte Vorgehensweisen aus deiner angeblichen Praxis. Dazu wird es aber nie kommen.....Aus oben aufgeführtem Grund.

      Bislang hattest du mE immer auf der stabilen Präferenz der _Gruppe_ bestanden.....
      Dann hast du da wohl etwas missverstanden. Ich habe mich immer für die Überprüfung der S.P. der Einzelpersonen ausgesprochen.

      Das war auch schon zu dem Zeitpunkt der Fall, als du deinen Vorstufen "Präferenztest" (den einzigen mit bekannten "Test") erwähnt hast.
      Ohne diese Überprüfung, ist das Ergebnis uninteressant. Eine Wiederholte Abfrage -so oft wie eben zumutbar- ist absolut notwendig.

      Das die Stabilität einer Präferenz (sowohl bei Gruppen als auch bei Einzelpersonen) interessat sein kann, steht außer Frage, es fehlt nach wie vor, weshalb sie wichtig für die Frage der Unterschiedlichkeit der Geräte sein soll.
      Weil Hörer gerne "aus dem Bauch heraus" entscheiden....Quasi eine virtuell geworfene Münze. Gerade bei den abenteuerlich kleinen, bis hin zu mikroskopischen Differenzen kann und wird die Präferenz an einem Nachmittag mehrfach wechseln.
      Das ist völlig normal und nicht mehr als menschlich.

      Dass dir das nicht in den Kram passt ist sicher kein Geheimnis mehr.

      Ansonsten, ja, offensichtlich gab es keine Kontrollgruppe, denn wozu auch?
      Vielleicht könntest du kurz begründen, weshalb man eine Kontrollgruppe beschäftigen sollte.
      Eine (oder gar mehrere) Kontrollgruppe(n) würde bei den vorhandenen mikroskopischen Unterschieden schnell deutlich machen, dass sich die Ergebnisse (Präferenzen) der einzelnen Gruppen nicht decken.

      Kommentar


        Hallo

        Zitat von Hifiaktiv Beitrag anzeigen
        Ich hätte gerne eine Zusammenfassung, wie man verblindete Tests richtig macht.
        -----------------------------------------------------

        @Kammerklang, Blindtests können wir nicht machen, das ist klar und die brauchen wir auch nicht.
        Hier regnet es ja immer wieder Zusammenfassungen, von verschiedenen Leuten, und auch Verweise auf Fachliteratur (wie gerade eben von Christoph).

        Ich habe das Gefühl, dass solche Zusammenfassungen (durch alle mögliche Personen) in den Wind geschossen werden, weil sie Elemente besitzen, die nicht in die jeweilige Weltsicht passen.


        Was ich mich die ganze zeit frage?

        Worin siehst Du den Unterschied zwischen einem richtig gemachten verblindeten Test (an dem Du interessiert bist) und einem Blindtest (den Du nicht brauchst)?

        Das hilft deine Fragen nach Zusammenfassungen zu beantworten.

        LG

        Babak
        Grüße
        :S

        Babak

        ------------------------------
        "Alles was wir hören ist eine Meinung, nicht ein Faktum.

        Alles was wir sehen ist eine Perspektive, nicht die Wahrheit!"


        Marcus Aurelius

        Kommentar


          Worin siehst Du den Unterschied zwischen einem richtig gemachten verblindeten Test (an dem Du interessiert bist) und einem Blindtest (den Du nicht brauchst)?
          Blindtests (habe ich in den Foren gelernt) sind wissenschaftliche Studien. Dazu reichen unsere Möglichkeiten nicht aus.
          Darüber hinaus halte ich sie für unsere Zwecke für weit über das Ziel geschossen.

          Bei verblindeten Tests geht es nur darum, bei Vergleichen die üblichen Suggestionen auszuschalten. Mehr ist auch gar nicht notwendig.

          Anmerkung: richtig wäre überhaupt die Bezeichnung "verblindeter Vergleich". Wir sollten endlich von den Blindtests weg kommen, denn damit werden wir ewig im Kreis herumlaufen.

          Bei diesen verblindeten Vergleichen sind (vorerst) nicht einmal (gezählte) Probedurchgänge notwendig, schon ein paar Treffer, die darauf schließen lassen, dass an einer Behauptung etwas dran ist, reichen aus, um die Sache genauer zu überprüfen.

          Aber! Auch bei verblindeten Vergleichen kann man Fehler machen! Und deshalb wäre es schön, wenn Jemand der "klar denken kann", alles das es dabei zu beachten gäbe/gibt, zusammenfasst.

          Wer traut sich das zu?
          Gruß
          David


          WEBSEITE HiFiAKTIV: Klick mich
          Einen "Audio-Laien" erkennt man daran, dass er sich viel mehr mit Audiokomponenten beschäftigt als mit Raumakustik, LS-Aufstellung und Hörplatzwahl.
          Auch Personen, die noch wenig Wissen auf diesem Gebiet haben, oder solche, die Rat und Hinweise von Erfahrenen suchen, sind hier richtig.
          Meine Auffassung von seriösen Vergleichstests: Klick mich - Die bisherigen Testergebnisse: Klick mich - Private Anlage: Klick mich - Wann gefällt mir ein Musikstück? - Klick mich
          Grundsätzlich: Behauptungen die mir bedenklich erscheinen, glaube ich nur, wenn sie messtechnisch nachvollziehbar sind und wenn sie mir in Form eines verblindeten Vergleichs bewiesen werden konnten.
          Eine Bitte an Alle: nicht ganze (noch dazu große) Beiträge zitieren und darunter einen kurzen Kommentar schreiben! Besser (beispielsweise): "Volle Zustimmung zu Beitrag 37".
          Wichtig: zumindest versuchen, beim Thema bleiben!

          Kommentar


            Zitat von Hifiaktiv Beitrag anzeigen
            Wer traut sich das zu?
            Was willst Du denn überhaupt testen? Davon hängt der kontrollierte Test ab.

            Kann man direkt umschalten? (z.B. Kabel, Verstärker, Wandler, Audio-Codecs)
            Kann man nicht direkt umschalten? (z.B. CD-Player, Lautsprecher)
            Geht es um die bloße Erkennung eines Unterschieds oder um Präferenz?
            Geht es um wirklich bedeutsame Unterschiede (z.B. Lautsprecher, Raum-Entzerrung, Audio-Codecs) oder geht es um "Voodoo"-Unterschiede wie LS/Netz/Signal-Kabel?

            Für die realistischen Fälle kann man sich z.B. bei Floyd Toole, in Sean Olives Blog oder bei hydrogenaudio.org umsehen. Für die "Voodoo"-Fälle gibt es keine Lösung. Solange kein Unterschied detektiert wird, wird Dir ein Jakob immer ein "nicht reliabel, nicht valide, nicht objektiv, keine Positivkontrolle" entgegenschmettern, und ein Babak wird Dir jedes derartige Ergebnis mit einem "Das ist aber kein Nachweis, dass es keinen Unterschied gibt" kommentieren (beide sind als Repräsentanten zu verstehen). Ergo: Zeitverschwendung. Und um sich selbst zu erden, langt der einfache Test, bei dem man nicht weiß, was spielt.

            Gruß

            Thomas

            Kommentar


              wer wirklich auf seine Ohren vertraut, der braucht keinen wissenschaftlichen verblindeten Blindtest, dem reicht das typische Foren-BT Design allemal aus.

              Kommentar


                Hallo

                Zitat von Hifiaktiv Beitrag anzeigen
                Blindtests (habe ich in den Foren gelernt) sind wissenschaftliche Studien. Dazu reichen unsere Möglichkeiten nicht aus.
                Darüber hinaus halte ich sie für unsere Zwecke für weit über das Ziel geschossen.

                Bei verblindeten Tests geht es nur darum, bei Vergleichen die üblichen Suggestionen auszuschalten. Mehr ist auch gar nicht notwendig.

                Anmerkung: richtig wäre überhaupt die Bezeichnung "verblindeter Vergleich". Wir sollten endlich von den Blindtests weg kommen, denn damit werden wir ewig im Kreis herumlaufen.

                Bei diesen verblindeten Vergleichen sind (vorerst) nicht einmal (gezählte) Probedurchgänge notwendig, schon ein paar Treffer, die darauf schließen lassen, dass an einer Behauptung etwas dran ist, reichen aus, um die Sache genauer zu überprüfen.
                Du ziehst hier künstliche Grenzen, die es nicht gibt.

                Blindtests werden in der Forschung eingesetzt, ja.
                Aber nicht nur dort.

                Blindtests sind eben nur Tests, bei denen verblindet wird.
                Natürlich sind es immer Vergleiche, bei denen gegen eine Referenz verglichen wird (eben die Kontrollen).
                Es gibt ja noch eine Haufen anderer Tests, in denen andere methoden angewandt werden.



                Zu Deiner Trennung zur Wissenschaft:
                Blindtests werden eben hauptsächlich in der Forschung eingesetzt, weil der notwendige Aufwand schnell ansteigt, und das auf privater Ebene nicht genügend gut zu leisten ist.

                Sie werden eben dort eingesetzt, wo das Geld investiert werden kann, um den Aufwand zu treiben, wo es um etwas geht.
                Pharmazie, Medizin oder auch Produktenwicklungen, wo R&D-Budget da ist (von Geschmackstest großer Lebensmittelhersteller bis hin zu Hörtest bei großen Audiounternehmen, siehe Harmann mit Floyd Toole).

                Rein inhaltlich gibt es keine Trennung.
                Tests mit Verblindungen sind Blindtests.


                Zitat von Hifiaktiv Beitrag anzeigen
                Und deshalb wäre es schön, wenn Jemand der "klar denken kann", alles das es dabei zu beachten gäbe/gibt, zusammenfasst.

                Wer traut sich das zu?
                Was bei Verblindungen zu beachten ist, wurde schon zig mal von verschiedenen Leuten angeführt.

                Dass es für manche nicht akzeptabel ist, weil das ihre eigenen gewohnheiten über den haufen wirft, ist eine andere Sache.

                Fachlich waren all die Beiträge, die ich dazu gelesen habe, korrekt.

                Man muss die Prinzipien halt nur akzeptieren.
                So kompliziert sind sie nicht.



                Zitat von Hifiaktiv Beitrag anzeigen
                Bei diesen verblindeten Vergleichen sind (vorerst) nicht einmal (gezählte) Probedurchgänge notwendig, schon ein paar Treffer, die darauf schließen lassen, dass an einer Behauptung etwas dran ist, reichen aus, um die Sache genauer zu überprüfen.
                Das sehe ich als eines der Details, das eben auf die Fragestellung angepasst sein muss.

                Jedoch wird es ohne Zählen schwer zu bestimmen, ob etwas ausreicht oder nicht.
                Rein aus dem bauch heraus landen wir wieder bei jener Beliebigkeit, die dieses Thema so verfilzt.
                ;)


                [quote=Hifiaktiv;223321]Auch bei verblindeten Vergleichen kann man Fehler machen!quote]
                Ja, und die werden auch gemacht.

                Korrigiert werden sie kaum, da das ganze dann als zu wissenschaftlich oder unnötig kompliziert abgetan wird. ;)


                Das Motto lautet also:

                "Wasch mich!
                Aber mach mich nicht nass!"

                "Mach mir einen Blindtest.
                Der soll aber simpel sein und genügend Interpretationsspielraum lassen, damit ich das heraus lesen kann, was in mein Weltbild passt."



                Solange nicht alle Beteiligten das Committment haben
                • methodisch sauber arbeiten zu wollen
                • damit zu gewährleisten, dass die Aussagen eindeutig werden
                • die Aussagen so zu akzeptieren, wie sie sind (statt alles umzuinterpretieren)
                braucht man sich aber über solche Themen keine Gedanken zu machen.

                So weit ist das Thema in keinem der Foren.

                Und somit bleibt es beim ewigen Herumgerede, bei Spekulationen und gegenseitigen Sticheleien.


                LG
                Babak
                Grüße
                :S

                Babak

                ------------------------------
                "Alles was wir hören ist eine Meinung, nicht ein Faktum.

                Alles was wir sehen ist eine Perspektive, nicht die Wahrheit!"


                Marcus Aurelius

                Kommentar


                  Hallo

                  Zitat von Blindniete Beitrag anzeigen
                  wer wirklich auf seine Ohren vertraut, der braucht keinen wissenschaftlichen verblindeten Blindtest, dem reicht das typische Foren-BT Design allemal aus.
                  Was untersheidet denn den "wissenschaftlichen verblindeten Blindtest" vom Foren-BT?

                  Lasst einmal dieses ewige "wissenschaftlich" weg.

                  Die einzigen Unterschiede sind im Aufwand den man treibt.
                  Diesem Aufwand enstpricht auch die verlässlichkeit der Ergebnisse und somit ihre Aussagekraft.

                  Treibt man einen großen Aufwand, bekommt man eine hohe Aussagekraft
                  Treibt man einen geringen Aufwand, hat das ergebnis weniger Aussagekraft, es sind mehr Lücken offen, da gibt es mehr "wenn's" und "aber's".
                  Die Aussage wird eben beliebiger.

                  Wissenschaft ist nicht sehr interessiert an beliebigen Aussagen.
                  Dort sind belastbare Aussagen notwendig.
                  Drum wird mehr Aufwand betrieben.

                  Bei Foren-BTs istd er Aufwand gering, dementsprechend weniger belastbar sind die Ergebnisse.


                  Die Diskutanten müssen sich halt mal einig werden, welche Aussagekraft sie vom Ergebnis wünschen.
                  Nach dem richtet sich der Aufwand, den man treiben muss.

                  Wollt Ihr 95% Verlässlichkeit? Dann wird es viel arbeit.
                  Reichen 60%? Dann macht weiter so, wie Ihr es eh schon macht.

                  Das hat mit Wissenschaftlichkeit wenig zu tun.

                  LG

                  Babak
                  Grüße
                  :S

                  Babak

                  ------------------------------
                  "Alles was wir hören ist eine Meinung, nicht ein Faktum.

                  Alles was wir sehen ist eine Perspektive, nicht die Wahrheit!"


                  Marcus Aurelius

                  Kommentar


                    Zitat von Babak Beitrag anzeigen
                    Hallo

                    ******************

                    LG

                    Babak
                    Mensch Babak, bist Du wirklich so Ironie-resistent ????

                    Kommentar


                      Wenn du mir sagst, woran man die Ironie erkennen kann ...

                      Solche Sätze werden nicht selten in vollem Ernst gepostet.
                      Das ist ja die Tragödie dahinter ... ;)


                      Untertöne gibt es im Schriftverkehr keine.
                      Vielelicht helfen ja Smileys wie ;) oder oder oder:H oder oder andere, damit Man ironisches leichter erkennbar macht.

                      :S

                      LG

                      Babak
                      Grüße
                      :S

                      Babak

                      ------------------------------
                      "Alles was wir hören ist eine Meinung, nicht ein Faktum.

                      Alles was wir sehen ist eine Perspektive, nicht die Wahrheit!"


                      Marcus Aurelius

                      Kommentar


                        Hallo!
                        Zitat von Babak Beitrag anzeigen
                        ...
                        Wollt Ihr 95% Verlässlichkeit? Dann wird es viel arbeit.
                        Reichen 60%? Dann macht weiter so, wie Ihr es eh schon macht.
                        Wieviel % Verlässlichkeit gibt denn dann ein unverblindeter Test, also wie üblich 2 Geräte umstecken und hören?

                        mfg

                        Kommentar


                          Zitat von Babak Beitrag anzeigen
                          :S

                          LG

                          Babak
                          OK in Zukunft:



                          :M

                          Kommentar


                            Thomas schrieb:

                            Kann man direkt umschalten? (z.B. Kabel, Verstärker, Wandler, Audio-Codecs)
                            Kann man nicht direkt umschalten? (z.B. CD-Player, Lautsprecher)
                            Im konkreten Fall gibt es eine Umschaltanlage, die (mehrere Leute die was davon verstehen, haben bei der Konstruktion damals mitgewirkt) über jeden Zweifel erhaben ist. Es gibt sogar eine FB beim Hörplatz.

                            Geht es um die bloße Erkennung eines Unterschieds oder um Präferenz?
                            Nur um Unterschiede, keine Präferenz.

                            Geht es um wirklich bedeutsame Unterschiede (z.B. Lautsprecher, Raum-Entzerrung, Audio-Codecs) oder geht es um "Voodoo"-Unterschiede wie LS/Netz/Signal-Kabel?
                            Es geht um Unterschiede, deren Hörbarkeit bezweifelt wird, weil sowohl die Messtechnik als auch die Logik dagegen sprechen.
                            Wir können uns dabei bei dem beschränken, das sich noch vor den Lautsprechern abspielt. Es gäbe zwar noch etliche Dinge lautsprecherseitig die umstritten sind, aber da wird es dann wirklich zu kompliziert.

                            Für die "Voodoo"-Fälle gibt es keine Lösung. Solange kein Unterschied detektiert wird, wird Dir ein Jakob immer ein "nicht reliabel, nicht valide, nicht objektiv, keine Positivkontrolle" entgegenschmettern, und ein Babak wird Dir jedes derartige Ergebnis mit einem "Das ist aber kein Nachweis, dass es keinen Unterschied gibt" kommentieren (beide sind als Repräsentanten zu verstehen). Ergo: Zeitverschwendung. Und um sich selbst zu erden, langt der einfache Test, bei dem man nicht weiß, was spielt.
                            Diese Art von Tests habe ich auch gemeint (und meine ich schon seit Jahren!). Blindtests im wissenschaftlichen Sinne interessieren mich überhaupt nicht.
                            Gruß
                            David


                            WEBSEITE HiFiAKTIV: Klick mich
                            Einen "Audio-Laien" erkennt man daran, dass er sich viel mehr mit Audiokomponenten beschäftigt als mit Raumakustik, LS-Aufstellung und Hörplatzwahl.
                            Auch Personen, die noch wenig Wissen auf diesem Gebiet haben, oder solche, die Rat und Hinweise von Erfahrenen suchen, sind hier richtig.
                            Meine Auffassung von seriösen Vergleichstests: Klick mich - Die bisherigen Testergebnisse: Klick mich - Private Anlage: Klick mich - Wann gefällt mir ein Musikstück? - Klick mich
                            Grundsätzlich: Behauptungen die mir bedenklich erscheinen, glaube ich nur, wenn sie messtechnisch nachvollziehbar sind und wenn sie mir in Form eines verblindeten Vergleichs bewiesen werden konnten.
                            Eine Bitte an Alle: nicht ganze (noch dazu große) Beiträge zitieren und darunter einen kurzen Kommentar schreiben! Besser (beispielsweise): "Volle Zustimmung zu Beitrag 37".
                            Wichtig: zumindest versuchen, beim Thema bleiben!

                            Kommentar


                              David,

                              Du hast meine Frage nach dem direkten Umschalten nicht zu meiner Zufriedenheit beantwortet. Direkt umschalten kann man nur, wenn die untersuchten Gegenstände synchron sind. Ein CD-Player-Vergleich geht damit z.B. nicht.

                              Deswegen fange ich jetzt mal mit den Dingen an, die einfach per ABX-Test zu machen sind.

                              Alles, was man direkt umschalten kann (Kabel, Verstärker, DACs, ADCs, verschiedene Auflösungen, verschiedene Codecs mit verschiedenen Datenraten) würde ich mit ABX machen. Wenn nur Formate verglichen werden, dann geht das mit Foobar + ABX-Plug-In.

                              Der Rest benötigt einen ABX-Umschalter. Am besten so gesteuert, dass die Zuordnungen zu X randomisiert automatisch erzeugt werden. Ansonsten braucht man einen Menschen im Hintergrund, der das macht (Zuordnung z.B. durch Ziehung von Losen festlegen).

                              Der große Vorteil von ABX ist, dass die Teilnehmer sich den Unterschied erst einmal offen und in Ruhe anhören kann um dann die Entscheidung, ob X A oder B ist zu treffen. Die Entscheidung muss erzwungen werden. Das sollte man den Teilnehmern auch vorher erklären. Die Teilnehmer sollen halt z.B. raten oder nach ihrem Bauchgefühl entscheiden, wenn sie sich nicht sicher sind.

                              An so einem Test sollte immer nur eine Person gleichzeitig teilnehmen, und diese Person sollte in Ruhe gelassen werden. Daraus folgt, dass die Person allein im Raum sein sollte. Der Raum sollte dem angepasst sein (kein blendendes Licht, keine Ablenkung, leise, usw.). Parameter, die nichts mit der Fragestellung zu tun haben, sollten die Teilnehmer frei wählen können (z.B. Hördauer). Parameter, die einen Einfluss auf das Ergebnis haben (können), z.B. die Musikauswahl, müssen für alle Teilnehmer gleich sein. Wenn weitere Parameter variiert werden, dann muss das dokumentiert sein, um in der Auswertung den Einfluss dieser Parameter auf das Ergebnis bestimmen zu können.

                              Mehr als 10 Durchgänge pro Test und Teilnehmer sollten es wohl nicht sein. Entweder man macht dann den Test mit vielen Teilnehmern oder man wiederholt mit entsprechendem zeitlichen Abstand den Test mit den gleichen Teilnehmern. Bei der Auswertung ist zu beachten, dass z.B. einem Signifikanzniveau von 5% bei vielen Wiederholungen ein Test von 20 Tests (eben 5%) auch durch Zufall "bestanden" wird. Deshalb ist das "Herauspicken" von tollen Ergebnissen unzulässig. Wenn also eine Person bei einem Testdurchgang ein signifikantes Ergebnis erzielt und die anderen nicht, dann war das entweder Zufall oder ein echtes Goldohr. Letzteres muss durch Wiederholung des Tests mit dieser Person (ggf., wenn der Test anstrengend ist, zu einem anderen Zeitpunkt) überprüft werden.

                              Und, auch wenn es Dir und Scheller nicht passt: Doppelblind muss das ganze auch sein, was allerdings wirklich nicht schwer zu erreichen ist. Wenn man die Zuordnung von A oder B zu X per Software macht, dann ergibt sich die Doppelverblindung automatisch. Man kann auch ohne Computer ganz einfach arbeiten: Die Zuordung (A,B->) macht man mit einer Drahtbrücke in einem Stecker. Von solchen Steckern macht man 10 Stück (5 mit A->X und 5 mit B->X). Alle zehn Stecker kommen in eine "Lostrommel", werden nacheinander gezogen und in die ABX-Einheit gesteckt (die dann entweder A oder B X zuordnet). Danach müssen die Stecker nur geordnet (also von eins bis zehn) abgelegt werden und nach Abschluss des Tests ausgewertet werden. Fertig ist der doppelblinde ABX-Test ohne Computer, den sogar eine Person allein durchführen kann.

                              Bleibt noch die Positivkontrolle. Hier bieten sich z.B. kleine Pegelunterschiede, oder ein MP3 mit niedriger Datenrate, eine steile Tiefpassfilterung (wenn es um Abtastraten geht), usw. an.

                              Nicht berücksichtigen kann man bei all dem die pathologischen Fälle, wie Lautsprecherkabel mit praktisch gleichem Amplitudengang (also praktisch alle), das zu erwartende Genörgel an der Umschalteinheit, die natürlich alle Unterschiede überdeckt, der böse, heftige Teststress wegen "Ergebnis-Schuldung" usw. usf.

                              Obwohl ich hier geantwortet habe, muss ich gleich dazu schreiben, dass ich darüber nicht mit Jakob oder Babak diskutieren werde. Wenn man schon seine Zeit verschwendet, dann sollte man das mit angenehmen Dingen tun.

                              Gruß

                              Thomas

                              Kommentar


                                Thomas schrieb:

                                Du hast meine Frage nach dem direkten Umschalten nicht zu meiner Zufriedenheit beantwortet. Direkt umschalten kann man nur, wenn die untersuchten Gegenstände synchron sind. Ein CD-Player-Vergleich geht damit z.B. nicht.
                                Mit etwas Geduld bekommt man auch zwei CDPs (bzw. andere digitale Quellgeräte) ausreichend synchron.

                                Deswegen fange ich jetzt mal mit den Dingen an, die einfach per ABX-Test zu machen sind.

                                Alles, was man direkt umschalten kann (Kabel, Verstärker, DACs, ADCs, verschiedene Auflösungen, verschiedene Codecs mit verschiedenen Datenraten) würde ich mit ABX machen. Wenn nur Formate verglichen werden, dann geht das mit Foobar + ABX-Plug-In.

                                Der Rest benötigt einen ABX-Umschalter. Am besten so gesteuert, dass die Zuordnungen zu X randomisiert automatisch erzeugt werden. Ansonsten braucht man einen Menschen im Hintergrund, der das macht (Zuordnung z.B. durch Ziehung von Losen festlegen).

                                Der große Vorteil von ABX ist, dass die Teilnehmer sich den Unterschied erst einmal offen und in Ruhe anhören kann um dann die Entscheidung, ob X A oder B ist zu treffen. Die Entscheidung muss erzwungen werden. Das sollte man den Teilnehmern auch vorher erklären. Die Teilnehmer sollen halt z.B. raten oder nach ihrem Bauchgefühl entscheiden, wenn sie sich nicht sicher sind.

                                An so einem Test sollte immer nur eine Person gleichzeitig teilnehmen, und diese Person sollte in Ruhe gelassen werden. Daraus folgt, dass die Person allein im Raum sein sollte. Der Raum sollte dem angepasst sein (kein blendendes Licht, keine Ablenkung, leise, usw.). Parameter, die nichts mit der Fragestellung zu tun haben, sollten die Teilnehmer frei wählen können (z.B. Hördauer).
                                Soweit so klar und auch bisher so gemacht.

                                Parameter, die einen Einfluss auf das Ergebnis haben (können), z.B. die Musikauswahl, müssen für alle Teilnehmer gleich sein.
                                Das haben wir nicht immer so gamacht. Die Probanden konnten "ihre" Musik verwenden (beispielsweise bei Kabeltests).

                                Wenn weitere Parameter variiert werden, dann muss das dokumentiert sein, um in der Auswertung den Einfluss dieser Parameter auf das Ergebnis bestimmen zu können.
                                Ist auch klar.

                                Mehr als 10 Durchgänge pro Test und Teilnehmer sollten es wohl nicht sein. Entweder man macht dann den Test mit vielen Teilnehmern oder man wiederholt mit entsprechendem zeitlichen Abstand den Test mit den gleichen Teilnehmern. Bei der Auswertung ist zu beachten, dass z.B. einem Signifikanzniveau von 5% bei vielen Wiederholungen ein Test von 20 Tests (eben 5%) auch durch Zufall "bestanden" wird. Deshalb ist das "Herauspicken" von tollen Ergebnissen unzulässig. Wenn also eine Person bei einem Testdurchgang ein signifikantes Ergebnis erzielt und die anderen nicht, dann war das entweder Zufall oder ein echtes Goldohr. Letzteres muss durch Wiederholung des Tests mit dieser Person (ggf., wenn der Test anstrengend ist, zu einem anderen Zeitpunkt) überprüft werden.
                                Kein Einwand, ist alles plausibel.

                                Und, auch wenn es Dir und Scheller nicht passt: Doppelblind muss das ganze auch sein, was allerdings wirklich nicht schwer zu erreichen ist. Wenn man die Zuordnung von A oder B zu X per Software macht, dann ergibt sich die Doppelverblindung automatisch. Man kann auch ohne Computer ganz einfach arbeiten: Die Zuordung (A,B->) macht man mit einer Drahtbrücke in einem Stecker. Von solchen Steckern macht man 10 Stück (5 mit A->X und 5 mit B->X). Alle zehn Stecker kommen in eine "Lostrommel", werden nacheinander gezogen und in die ABX-Einheit gesteckt (die dann entweder A oder B X zuordnet). Danach müssen die Stecker nur geordnet (also von eins bis zehn) abgelegt werden und nach Abschluss des Tests ausgewertet werden. Fertig ist der doppelblinde ABX-Test ohne Computer, den sogar eine Person allein durchführen kann.
                                Ist zwar eine gute Idee, aber ich denke, das wird so in der Praxis Keiner machen.
                                Und ja, ich bin der Meinung, dass doppelte Verblindung nicht sein muss.

                                Bleibt noch die Positivkontrolle. Hier bieten sich z.B. kleine Pegelunterschiede, oder ein MP3 mit niedriger Datenrate, eine steile Tiefpassfilterung (wenn es um Abtastraten geht), usw. an.
                                Im Prinzip lotet man damit nur die Hörschwellen der Testpersonen aus. Dass die Anlage irgendwas nicht auflöst, oder der Raum ganz schlecht ist, davon gehe ich nicht aus.

                                Nicht berücksichtigen kann man bei all dem die pathologischen Fälle, wie Lautsprecherkabel mit praktisch gleichem Amplitudengang (also praktisch alle), das zu erwartende Genörgel an der Umschalteinheit, die natürlich alle Unterschiede überdeckt, der böse, heftige Teststress wegen "Ergebnis-Schuldung" usw. usf.
                                Mit diesem üblichen "Goldohrengekeife" möchte ich mich möglichst nicht mehr auseinandersetzen, denn es führt sowieso zu nichts.

                                Obwohl ich hier geantwortet habe, muss ich gleich dazu schreiben, dass ich darüber nicht mit Jakob oder Babak diskutieren werde. Wenn man schon seine Zeit verschwendet, dann sollte man das mit angenehmen Dingen tun.
                                Beide (wie ich meine) gescheite Leute, aber sie haben kein Interesse daran, etwas aufzuklären und schon gar nicht, etwas in der Praxis auszuprobieren.
                                ----------------------------------------------------

                                Danke Thomas, du hast zumindest einmal eine Zusammenstellung der aus deiner Sicht wichtigen Dinge gemacht. Das ist so etwas wie eine Prämiere in den HiFi-Foren.
                                Gruß
                                David


                                WEBSEITE HiFiAKTIV: Klick mich
                                Einen "Audio-Laien" erkennt man daran, dass er sich viel mehr mit Audiokomponenten beschäftigt als mit Raumakustik, LS-Aufstellung und Hörplatzwahl.
                                Auch Personen, die noch wenig Wissen auf diesem Gebiet haben, oder solche, die Rat und Hinweise von Erfahrenen suchen, sind hier richtig.
                                Meine Auffassung von seriösen Vergleichstests: Klick mich - Die bisherigen Testergebnisse: Klick mich - Private Anlage: Klick mich - Wann gefällt mir ein Musikstück? - Klick mich
                                Grundsätzlich: Behauptungen die mir bedenklich erscheinen, glaube ich nur, wenn sie messtechnisch nachvollziehbar sind und wenn sie mir in Form eines verblindeten Vergleichs bewiesen werden konnten.
                                Eine Bitte an Alle: nicht ganze (noch dazu große) Beiträge zitieren und darunter einen kurzen Kommentar schreiben! Besser (beispielsweise): "Volle Zustimmung zu Beitrag 37".
                                Wichtig: zumindest versuchen, beim Thema bleiben!

                                Kommentar

                                Lädt...
                                X
                                👍