Ankündigung

Einklappen
Keine Ankündigung bisher.

Wann ist ein Test aussagekräftig und somit seriös?

Einklappen
X
 
  • Filter
  • Zeit
  • Anzeigen
Alles löschen
neue Beiträge

    #16
    Zitat von Babak Beitrag anzeigen
    [*]Die Positivkontrollen
    hier seh ich eigentlich das einzige Problem. Für die Positivkontrollen gibts bislang ja keine praktikablen Vorschläge.

    lg
    reno

    Kommentar


      #17
      ...gääähn...

      das was Meister Babak hier propagiert hat mit der eigentlichen Testdurchführung nur wenig zu tun, sondern lediglich mit der Auswertung und ist obendrein ein alter Hut...das nennt sich statistische Verifizierung (dazu gibt es allgemeingültige Vorgehensweisen und diese sind für alle möglichen Arten von Blindtests eigentlich immer die selben) und diese gehört zu einem aussagefähigen und seriösen Test nun mal grundlegend dazu...

      Viel interessanter und auch im Detail schwieriger zu realisieren, je nach Testsituation und -fragestellung, ist allerdings die technische Umsetzung. Fehler die hier gemacht werden, können durch keine noch so akribische Auswertung wieder wettgemacht werden...

      Aber auch dazu gibt es eine Lösung (noch dazu von einem Praktiker!), siehe hier:



      Gruß

      RD

      Kommentar


        #18
        Zitat von ruedi01 Beitrag anzeigen

        Aber auch dazu gibt es eine Lösung (noch dazu von einem Praktiker!), siehe hier:


        fehlen nur noch die doppelte Verblindung und die Kontrollen...

        lg
        reno

        Kommentar


          #19
          Hallo Reudi,

          bitte poste Inhaltlich zum Thema.

          Auch wenne s ein alter Hut ist und zum guten Testdesign gehört:

          Es wurde bisher nicht getan

          Es bringt nichts, Praktiken umszusetzen, wenn keiner sagen kann, ob diese Praktiken wirklich besser Resultate erbringen.

          Etwas zu rein auf Vermutung und Überzeugung hin zu tun ("Verblinden", Umschaltboxen, Pegelausgleich, Langzeit, Kurzzeit, ...), ohne dessen Effekt zu ermitteln ist reiner Aktionismus.

          Die Frage ist also
          Und was bringt das jetzt?
          (Extra für den Praktiker praxisorientiert formuliert).



          Also schön, dass Du was verlinkt hast.

          Mir ist wichtig, welchen effekt das alles in der Praxis hat.
          Theoretische Abschätzungen und Vermutungen, dass man sich vorstellen kann, das sei besser, bringen nichts:

          Daher meine pragmatische Frage:
          Woher weißt Du, was welche deser dort aufgelisteten Methoden "besser" macht?


          Das hat bisher keiner gezeigt.


          Somit gibt es weiterhin einen reinen Test-Aktionismus mit bloßen Meinungen, dass der eigene Test besser ist.

          Auch das kann eine erfüllende Beschäftigung sein ...




          Den nächsten Post bitte wieder zu dem Thema:
          Woran erkennt man einen aussagekräftigen Test?
          Dem bist Du hier ausgewichen.

          Solltest Du etwas zu irgendwelchen Konzepten schreiben wollen, die Deiner Ansicht nach in einen Test gehören, poste das bitte nicht in diesem Thread.

          Bei der nächsten Themenverfehlung werde ich David bitten, den Post zu entfernen.


          LG
          Babak
          Grüße
          :S

          Babak

          ------------------------------
          "Alles was wir hören ist eine Meinung, nicht ein Faktum.

          Alles was wir sehen ist eine Perspektive, nicht die Wahrheit!"


          Marcus Aurelius

          Kommentar


            #20
            Hallo,
            ich befürchte leider, daß wir uns diesen Thread wirklich sparen können.

            Im Grunde genommen wird ja hier nur etwas neu angefangen, was in dieser Form ja nun schon bis zum :K: seit einigen Jahren in mittlerweile einigen einschlägigen Threads behandelt wird.

            Und: Wir sind dabei der Beantwortung der Frage, wie ein valider Test denn nach Babaks Meinung auszusehen hat, keinen Millimeter näher gekommen.

            Warum wird das nicht praktischer angegangen ?

            Es gibt doch mittlerweile einige veranstaltete Tests. Wenn die analysiert werden mit konreten Vorschlägen/Anweisungen, welche Punkte im Ablauf wie geändert gehören, damit es "passt", haben wir doch eine Chance, der eigentlich interessanten Frage näher zu kommen:

            Wie sieht ein "wasserdichter" Test aus ?

            Das und nur das kann doch Ziel des Ganzen sein, ansonsten kann man sich die ganze Prozedur hier sparen.

            Selbst wenn wir nach Monaten oder Jahren dann mal abschließend wissen sollten welche Kriterien so ein Test erfüllen muß, dann ist noch lange nicht klar, wie so ein Test praktisch aussehen muß, damit er die Kriterien erfüllt.

            Mit an Sicherheit grenzender Wahrscheinlichkeit werden wir dann folgendes Scenario erleben:
            Dann kommt jemand auf die Idee, einen Test so anzulegen, wie er meint das hier dann Vorliegende verstanden zu haben, und wird promt hier wieder zerlegt, weil Babak und Co dann doch wieder ein Haar in der Suppe finden.
            Das wird dann eine prima Endlosspirale....

            Babak (du Schlingel...;) ), gebe doch einfach zu, daß du ein heimliches Goldohr bist und den ganzen Zinnober doch nur als Verwirrungsstrategie veranstaltest, um potentielle Ausrichter von Tests so zu verunsichern, daß sich keiner mehr traut, sowas anzugehen.

            Wenn du die Kompetenz über Testverfahren tatsächlich hast, wie du es hier schon seit Jahren in den Threads versuchst den Eindruck zu erwecken, dann lege endlich ein valides Testverfahren auf den Tisch für die hier in diesem Umfeld übersichtlichen Fragestellungen:

            Gibt es feststellbare Klangunterschiede zwischen CDP's, Verstärkern, Kabeln etc. pp

            Könnte es sein, daß dir gar nicht daran gelegen ist, daß es je ein diesbezüglich valides Testverfahren gibt ?
            Der Eindruck verhärtet sich in mir mehr und mehr, denn dem vielfach in der Vergangenheit geäusserten Wunsch, mal Butter bei die Fische zu tun, bist du ja bisher erfolgreich aus dem Wege gegangen.

            Und wenn mein Eindruck richtig sein sollte, dann stellt sich schon die Frage (wie weiter oben):

            Was bezweckst du eigentlich ?

            Gruß
            Peter Krips

            P.S. Da schon diesbezügliche Andeutungen kamen:
            Nein, es geht mir nicht um die Person Babak, sondern um das, was er hier schreibt.

            Kommentar


              #21
              Mir scheint es geht um die Aussagekraft von Blindtests im Semiprofessionellen Bereich........

              Keine Ahnung was diese Leut so treiben bei deren Tests



              Das hier scheint wichtig
              Zitat von Reno Barth Beitrag anzeigen
              fehlen nur noch die doppelte Verblindung und die Kontrollen...

              lg
              reno
              Zitat von Reno Barth Beitrag anzeigen
              hier seh ich eigentlich das einzige Problem. Für die Positivkontrollen gibts bislang ja keine praktikablen Vorschläge.

              lg
              reno
              Zuletzt geändert von Gast; 14.02.2013, 13:50.

              Kommentar


                #22
                An die vielen Gäste und ihre gut gemeinten Vorschläge:

                Das ist Babaks Thread, somit wird er entscheiden, wer hier mitmachen darf und wer nicht.
                Noch hat er keine diesbezügliche Bitte an mich gerichtet und noch wurden keine Forenregeln verletzt, also gibt es keinen Grund für mich zu handeln.

                Admin
                Gruß
                David


                WEBSEITE HiFiAKTIV: Klick mich
                Einen "Audio-Laien" erkennt man daran, dass er sich viel mehr mit Audiokomponenten beschäftigt als mit Raumakustik, LS-Aufstellung und Hörplatzwahl.
                Auch Personen, die noch wenig Wissen auf diesem Gebiet haben, oder solche, die Rat und Hinweise von Erfahrenen suchen, sind hier richtig.
                Meine Auffassung von seriösen Vergleichstests: Klick mich - Die bisherigen Testergebnisse: Klick mich - Private Anlage: Klick mich - Wann gefällt mir ein Musikstück? - Klick mich
                Grundsätzlich: Behauptungen die mir bedenklich erscheinen, glaube ich nur, wenn sie messtechnisch nachvollziehbar sind und wenn sie mir in Form eines verblindeten Vergleichs bewiesen werden konnten.
                Eine Bitte an Alle: nicht ganze (noch dazu große) Beiträge zitieren und darunter einen kurzen Kommentar schreiben! Besser (beispielsweise): "Volle Zustimmung zu Beitrag 37".
                Wichtig: zumindest versuchen, beim Thema bleiben!

                Kommentar


                  #23
                  Zitat von Reno Barth Beitrag anzeigen
                  hier seh ich eigentlich das einzige Problem. Für die Positivkontrollen gibts bislang ja keine praktikablen Vorschläge.

                  lg
                  reno
                  Hier muß ich doch widersprechen. :)

                  Eine praktikable "Universalpositivkontrolle" (falls keine andere denkbar erscheint) ist ein breitbandiger Pegelunterschied.
                  Da in verschiedener Größenordnung machbar hat man sogar Kontrollen auf unterschiedlichen Sensitivitätsniveaus.

                  Ansonsten liegt die Schwierigkeit in unserem Bereich darin, daß die Testfragestellung eben iaR nicht vorab genau festgelegt wird; wie in früheren Threads bereits diskutiert, reicht für die Hypothese "hört jeder, der nicht taub ist" , jedes bisherige "Testdesign" aus, solange eben die Teilnehmer die Grundbedingung erfüllen.

                  Im Bereich darunter sieht die Sache anders aus, siehe dazu die Beispiele aus dem "Goriallabteil" .

                  Bei Audiotests, die sich der Klangqualität über alles nähern wollen, ist es komplexer, weil sich der Unterschied (sofern vorhanden) nicht mehr einfach quantifizieren läßt und die sog. Effektstärke in direktem Zusammenhang mit der Wahrnehmungsfähigkeit des Detektors (eben des Hörers) steht und diese sich je nach Testdesign ändert (ändern kann) .

                  Aus bekannten Gründen läßt sich die Teststärke (1 - Beta) nicht angegeben, aber man kann sie für angenommene Fälle berechnen, bzw. aus angenommenen Effektstärken und Erkennungswahrscheinlichkeiten die jeweils benötigten Minimalduchgangszahlen berechnen, bei der die beiden Fehlerwahrscheinlichkeiten in einem halbwegs ausgewogenen Verhältnis stehen.

                  Ein Beispiel hierfür sind die 10 Versuche bei 9 benötigten Treffern für ein signifikantes Ergebnis auf 0.05-Niveau. Die tatsächliche Wahrscheinlichkeit für ein zufälliges Ergebnis liegt tatsächlich aber bereits bei nur 0.0107 , d.h. deutlich darunter.

                  Allerdings ist das nur dann ein faires Szenario, wenn die Erkennungswahrscheinlichkeit der Testperson bei mind. 0.95 liegt, denn in diesem Fall ist die Wahrscheinlichkeit weniger als 9 Treffer zu erzielen nur p=0.086 .

                  Deshalb gab damals Les Leventhal die Empfehlung für diesen zeitsparenden Fall nur für wirklich gut trainierte Versuchspersonen aus.

                  Liegt die Erkennungswahrscheinlichkeit des Hörers "nur" bei 90%, dann beträgt die Wahrscheinlichkeit weniger als 9 Treffer zu erzielen bereits bei p=0.264, bei 80%iger Erkennungswahrscheinlicheit des Hörers wäre es bereits p=0.624 .

                  D.h. welches Risiko noch akzeptabel erscheint, hängt von der Beantwortung der Frage ab, welchen Unterschied (oder welche Erkennungswahrscheinlichkeit) man noch für praxisrelevant hält.

                  Gruß
                  Gewerblicher Teilnehmer. Entwicklung, Herstellung und Vertrieb von Audiotechnik. (u.a.)

                  Kommentar


                    #24
                    Zitat von Jakob Beitrag anzeigen
                    Bei Audiotests, die sich der Klangqualität über alles nähern wollen, ist es komplexer, weil sich der Unterschied (sofern vorhanden) nicht mehr einfach quantifizieren läßt und die sog. Effektstärke in direktem Zusammenhang mit der Wahrnehmungsfähigkeit des Detektors (eben des Hörers) steht und diese sich je nach Testdesign ändert (ändern kann) .
                    genau. daher meine Sorge hinsichtlich der Positivkontrolle.

                    lg
                    reno

                    Kommentar


                      #25
                      Ruedi,

                      genau solche Postings will ich hier nicht haben.

                      Wenn Du das alles nicht lesen willst, gibt es andere Threads, die Dir sicher besser gefallen.

                      Du bist hiermit ausgeschlossen.

                      @David:
                      Könntest Du bitte Ruedis Post hier löschen?

                      Danke

                      LG
                      Babak
                      Grüße
                      :S

                      Babak

                      ------------------------------
                      "Alles was wir hören ist eine Meinung, nicht ein Faktum.

                      Alles was wir sehen ist eine Perspektive, nicht die Wahrheit!"


                      Marcus Aurelius

                      Kommentar


                        #26
                        Da machen sich mit Reno und Jakob 2 Gewerbliche schwere Gedanken, warum Blindtests niemals Bestand haben können. ;-)

                        Sorry, Babak, das ist dein Nebelkerzen-Thread, bin schon wieder weg.

                        Grüni

                        Kommentar


                          #27
                          @David:
                          Könntest Du bitte Ruedis Post hier löschen?
                          Wird gemacht.
                          Gruß
                          David


                          WEBSEITE HiFiAKTIV: Klick mich
                          Einen "Audio-Laien" erkennt man daran, dass er sich viel mehr mit Audiokomponenten beschäftigt als mit Raumakustik, LS-Aufstellung und Hörplatzwahl.
                          Auch Personen, die noch wenig Wissen auf diesem Gebiet haben, oder solche, die Rat und Hinweise von Erfahrenen suchen, sind hier richtig.
                          Meine Auffassung von seriösen Vergleichstests: Klick mich - Die bisherigen Testergebnisse: Klick mich - Private Anlage: Klick mich - Wann gefällt mir ein Musikstück? - Klick mich
                          Grundsätzlich: Behauptungen die mir bedenklich erscheinen, glaube ich nur, wenn sie messtechnisch nachvollziehbar sind und wenn sie mir in Form eines verblindeten Vergleichs bewiesen werden konnten.
                          Eine Bitte an Alle: nicht ganze (noch dazu große) Beiträge zitieren und darunter einen kurzen Kommentar schreiben! Besser (beispielsweise): "Volle Zustimmung zu Beitrag 37".
                          Wichtig: zumindest versuchen, beim Thema bleiben!

                          Kommentar


                            #28
                            Zitat von HOMMEgrün Beitrag anzeigen
                            Da machen sich mit Reno und Jakob 2 Gewerbliche schwere Gedanken, warum Blindtests niemals Bestand haben können. ;-)

                            wenn man die Argumente nicht versteht, postet man halt schnell ein bisserl ad hominem, gell?

                            davon abgesehen: als Gewerblicher sind mir z.B. die Unterschiede zwischen zwei blameless Transen völlig wurscht.

                            lg
                            reno

                            Kommentar


                              #29
                              Zitat von Reno Barth Beitrag anzeigen
                              wenn man die Argumente nicht versteht, postet man halt schnell ein bisserl ad hominem, gell?
                              Deine "Argumente" wollen Blindtests von David diskreditieren, die sind nämlich geschäftsschädigend. ;-)
                              Trotzdem lese ich gerne von dir. :M

                              Grüni

                              Kommentar


                                #30
                                Zitat von HOMMEgrün Beitrag anzeigen
                                Deine "Argumente" wollen Blindtests von David diskreditieren, die sind nämlich geschäftsschädigend. ;-)
                                i
                                das ist doch das Gleiche in grün. Wenn man meint, jemandem niedrige Motive unterstellen zu können, braucht man nicht mehr darauf einzugehen, WAS er sagt.

                                Machen wir's doch mal umgekehrt: Kannst du mir ein Argument nennen, warum ausgerechnet bei Audioblindtests doppelte Verblindung und Kontrollen überflüssig sein sollen?

                                lg
                                reno

                                Kommentar

                                Lädt...
                                X
                                👍