Ankündigung

Einklappen
Keine Ankündigung bisher.

Wann ist ein Test aussagekräftig und somit seriös?

Einklappen
X
 
  • Filter
  • Zeit
  • Anzeigen
Alles löschen
neue Beiträge

    #61
    Zitat von Unregistriert Beitrag anzeigen
    Liest Du auch einmal etwas nach? Die Frage "warum?" Stellt sich leicht (andere müssen begründen / rechtfertigen), etwas anspruchsvoller wäre es erst einmal sich selbst die Frage "warum nicht?" zu stellen.
    Hallo Herby,

    da ich mich nun "namentlich deklariert" habe möchte ich diese Frage noch einmal an Dich adressieren.

    Kommentar


      #62
      Zitat von SimmeringerBub Beitrag anzeigen
      Hallo Herby,

      da ich mich nun "namentlich deklariert" habe möchte ich diese Frage noch einmal an Dich adressieren.
      Verabschieden wir uns mal kurz von Personen und gehen hin zu den Rollen!

      Es gibt die Rolle des Testprobanten (A).
      Es gibt die Rolle des Testdurchführenden (B).
      Es gibt die Rolle des Testauswertenden (C).

      Wenn A und B zusammen sein müssen (wie bei den Ärtzebeispielen in den Links von Reno), dann ist klar, dass nur C wissen darf, welche Situation zum Testzeitpunkt vorgeherrscht hat; das steht für mich außer Streit. Wenn sich aber A und B niemals gegenüber stehen zum Testzeitpunkt: Warum ist es dann wichtig, dass B nicht weiß, welche Situation gerade aktuell ist?

      Wenn also A und B örtlich nicht zusammen kommen, kann ja B und C von der selben Person wahr genommen werden!

      Falls nicht: warum nicht?

      Herby

      Kommentar


        #63
        Zitat von Blindniete Beitrag anzeigen
        OK, nehmen wir den aktuellen Verstärkertest als Beispiel

        2 Testversuche mit jeweils 9 Richtigen von 10 Versuchen.

        Die 2 Testversuche sind nicht mit identischen Parametern der Verstärker durchgeführt wurden.

        Statistisch ist 9/10 noch raten.
        (siehe Expertise von Kammerklang u.A. dort drüben)
        <snip>
        Kammerklangs Tabelle ist irreführend, denn sie basiert auf einem zweiseitigen Test (der aktuelle war hingegen ein einseitiger Test) und die Werte sind an den Grenzen des sog. "Indifferenzbereiches" immer um einen benötigten Treffer zu hoch resp. zu niedrig angegeben. (Vermutlich bedingt durch die Verwendung der Exelfunktion)

        D.h. 9 Treffer aus 10 Versuchen sind signifikant (und wären es sogar bei zweiseitigem Test, wenn auf 0.05-Niveau getestet wird); etwas weitergehende Berechnungen zum "10-Durchgänge-Test" finden sich hier:



        Gruß
        Gewerblicher Teilnehmer. Entwicklung, Herstellung und Vertrieb von Audiotechnik. (u.a.)

        Kommentar


          #64
          Zitat von Phototipps.com Beitrag anzeigen
          Verabschieden wir uns mal kurz von Personen und gehen hin zu den Rollen!

          Es gibt die Rolle des Testprobanten (A).
          Es gibt die Rolle des Testdurchführenden (B).
          Es gibt die Rolle des Testauswertenden (C).

          Wenn A und B zusammen sein müssen (wie bei den Ärtzebeispielen in den Links von Reno), dann ist klar, dass nur C wissen darf, welche Situation zum Testzeitpunkt vorgeherrscht hat; das steht für mich außer Streit. Wenn sich aber A und B niemals gegenüber stehen zum Testzeitpunkt: Warum ist es dann wichtig, dass B nicht weiß, welche Situation gerade aktuell ist?

          Wenn also A und B örtlich nicht zusammen kommen, kann ja B und C von der selben Person wahr genommen werden!

          Falls nicht: warum nicht?

          Herby
          Das war keine Antwort auf meine Frage.

          Antwort zu Deiner Frage: weil B und C sich absprechen könnten.

          Kommentar


            #65
            Zitat von SimmeringerBub Beitrag anzeigen
            Das war keine Antwort auf meine Frage.
            Es war schon eine Antwort auf Deine Frage - nur ist sie Dir ganz offensichtlich nicht genehm!

            Zitat von SimmeringerBub Beitrag anzeigen
            Antwort zu Deiner Frage: weil B und C sich absprechen könnten.
            Soweit ich das verstanden habe, es es so, dass beim direkten Kontakt B mit A unbewusst Informationen weitergeben werden könnten, wenn B weiß, was gerade Sache ist. Und wie schon gesagt, ist das eh unstrittig.

            Und die Frage ist jetzt, wie man diese unbewussten Informationsweitergabe verhindern könnte. Eine der Möglichkeiten ist, die Rollen B und C strikt zu trennen. Und die andere Möglichkeit sehe ich darin, A und B nicht aufeinander treffen zu lassen, vor allem, wenn das ablaufmäßig möglich ist.

            Herby

            Kommentar


              #66
              Hallo,

              nachdem ich mich wie angekündigt hier eine Weile ferngehalten habe, muß ich mich über den Verlauf hier wundern.

              1. Sind die vorgestellten "Test-Beurteilungs-Kriterien" nach wie vor genauso nebulös geblieben, wie schon seit Jahren zu dem Thema üblich.
              WIE man Positivkontrollen konktet ausführt ist nicht klar gesagt worden
              WIE man Negativkontrollen konktet ausführt ist nicht klar gesagt geworden.
              usw, usw.

              2. Hat es für mich den Anschein, wenn man Babak nicht mit weiteren Beiträgen "füttert", kommt nix mehr zu dem Thema

              3. Im Zusammenhang mit 2. : War das nun Alles was zur Klärung des Themas zu sagen ist, oder kommt da noch etwas, was potentielle Testausrichter KONKRET weiterbringen kann ?


              Wir drehen uns da endlos im Kreis.

              Diejenigen, die vorgeben, das Thema valide Tests zu blicken, sagen ums verrecken nicht, wie so ein Test aufgesetzt werden muss, damit er "passt".
              Diejenigen, die solche Tests machen wollen, aber nicht den Wissensstand der "Durchblicker" haben, trauen sich keine Tests zu machen, da dann programmiert ist, den "Durchblickern" wieder ins Messer zu laufen, ohne daß die KONKRET sagen, welche Änderungen gemacht werden müssen, ist ja all die Jahre bei den schon bemängelnden Tests nicht passiert.

              Ich bin mir mittlerweile sicherer denn je, daß die ganzen Aktionen nur dazu dienen, valide Tests zu verhindern.

              In dem Zusammenhang fällt mir noch ein heute in der Zeitung gelesener Spruch ein:

              "Stets anderer Meinung zu sein, ist das Gegenteil davon, eine eigene Meinung zu haben"

              Habe fertig
              Gruß
              Peter Krips

              Kommentar


                #67
                Hallo Peter,

                keine Ahnung, was daran so schwer zu verstehen ist.

                Es geht hier einzig und alleine darum, wie man das Ergebnis bewerten kann.
                Es geht NICHT darum, wie man zu dem Ergebnis kommt.

                Die Frage in diesem Thread ist bloß:
                Wie unterscheidet man einen validen Test von einem invaliden Test?


                Man braucht erst mal etwas, womit man bestimmen kann, wie gut ein Test funktioniert hat.


                Oder wie sagst Du sonst, ob ein Testansatz gut oder schlecht war?
                Daten liefern alle Tests, die guten und die schlechten.


                Wie überprüfst Du denn die Qualität dieser Daten?
                Ist es Schrott, sind es Hausnummern?




                Oder findest Du es gescheit, ohne Karte und GPS loszufahren und dabei zu hoffen, ein Ziel zu erreichen, an dem Du noch nie warst?


                Nchmal:
                Hier geht es NICHT darum, wie ein Test aufgebaut sein müsste.
                Es geht nur darum, wie man sehen kann, wie effektiv der Test war.


                Solange das nicht verstanden wird, macht es keinen Sinn über irgendeinen Testansatz zu diskutieren.

                Auch wenn Du im Quadrat hüpfst.


                Ich verstehe schon Deinen Unmut, dass bezüglich Testmethodik nichts weiter geht
                Doch das basiert eher darauf, dass Du offensichtlich dieses Prinzip nicht ganz verstanden hast, und nicht an meiner Person.


                :S
                LG
                Babak
                Grüße
                :S

                Babak

                ------------------------------
                "Alles was wir hören ist eine Meinung, nicht ein Faktum.

                Alles was wir sehen ist eine Perspektive, nicht die Wahrheit!"


                Marcus Aurelius

                Kommentar


                  #68
                  Peter schrieb:
                  Wir drehen uns da endlos im Kreis.
                  Das seit fast 10 Jahren. Und das ist noch lange nicht das Ende, weil diejenigen die kritisieren, immer nur bei der Theorie bleiben und nie zur Praxis wechseln.
                  Oppositionell zu handeln ist immer einfach. Etwas selbst besser zu machen wäre die einzige Möglichkeit, zu beweisen, dass man es auch wirklich besser kann. Das ist aber in diesem Fall mit viel Aufwand verbunden.

                  Diejenigen, die vorgeben, das Thema valide Tests zu blicken, sagen ums verrecken nicht, wie so ein Test aufgesetzt werden muss, damit er "passt".
                  Weil sie das gar nicht können und das meine ich jetzt nicht sarkastisch. Ein sauber durchgeführter "Blindtest" (also im wissenschaftlichen Sinn) bedeutet einen enormen Aufwand! Selbst ein "nur theoretischer". Die Praxis ist dann noch einmal um ein Vielfaches aufwändiger.

                  Diejenigen, die solche Tests machen wollen, aber nicht den Wissensstand der "Durchblicker" haben, trauen sich keine Tests zu machen, da dann programmiert ist, den "Durchblickern" wieder ins Messer zu laufen, ohne daß die KONKRET sagen, welche Änderungen gemacht werden müssen, ist ja all die Jahre bei den schon bemängelnden Tests nicht passiert.
                  Sie behaupten aber, die dazu notwendigen Tipps gegeben zu haben. Ich frage mich nur - wo? Muss man dazu in mehreren Foren die letzten 10 Jahre durchackern und alles was dazu geschrieben wurde, sortieren, bewerten und zusammenfassen? Wer hat die Zeit dazu?

                  Ich bin mir mittlerweile sicherer denn je, daß die ganzen Aktionen nur dazu dienen, valide Tests zu verhindern.
                  So weit will ich nicht einmal gehen. Zumindest nicht bei Babak, weil er für mich nicht zu den HiFi-Voodooisten gehört.
                  Bei Leuten von denen man weiß, dass sie größte Probleme damit haben, wenn behauptet wird, dass teure Geräte um nichts besser klingen als gute billige, ist das anders.
                  Gruß
                  David


                  WEBSEITE HiFiAKTIV: Klick mich
                  Einen "Audio-Laien" erkennt man daran, dass er sich viel mehr mit Audiokomponenten beschäftigt als mit Raumakustik, LS-Aufstellung und Hörplatzwahl.
                  Auch Personen, die noch wenig Wissen auf diesem Gebiet haben, oder solche, die Rat und Hinweise von Erfahrenen suchen, sind hier richtig.
                  Meine Auffassung von seriösen Vergleichstests: Klick mich - Die bisherigen Testergebnisse: Klick mich - Private Anlage: Klick mich - Wann gefällt mir ein Musikstück? - Klick mich
                  Grundsätzlich: Behauptungen die mir bedenklich erscheinen, glaube ich nur, wenn sie messtechnisch nachvollziehbar sind und wenn sie mir in Form eines verblindeten Vergleichs bewiesen werden konnten.
                  Eine Bitte an Alle: nicht ganze (noch dazu große) Beiträge zitieren und darunter einen kurzen Kommentar schreiben! Besser (beispielsweise): "Volle Zustimmung zu Beitrag 37".
                  Wichtig: zumindest versuchen, beim Thema bleiben!

                  Kommentar


                    #69
                    Auch wenn Du im Quadrat hüpfst.
                    Dieser Satz war unnötig, denn das hat er nicht gemacht (auch nicht sinnbildlich).
                    Gruß
                    David


                    WEBSEITE HiFiAKTIV: Klick mich
                    Einen "Audio-Laien" erkennt man daran, dass er sich viel mehr mit Audiokomponenten beschäftigt als mit Raumakustik, LS-Aufstellung und Hörplatzwahl.
                    Auch Personen, die noch wenig Wissen auf diesem Gebiet haben, oder solche, die Rat und Hinweise von Erfahrenen suchen, sind hier richtig.
                    Meine Auffassung von seriösen Vergleichstests: Klick mich - Die bisherigen Testergebnisse: Klick mich - Private Anlage: Klick mich - Wann gefällt mir ein Musikstück? - Klick mich
                    Grundsätzlich: Behauptungen die mir bedenklich erscheinen, glaube ich nur, wenn sie messtechnisch nachvollziehbar sind und wenn sie mir in Form eines verblindeten Vergleichs bewiesen werden konnten.
                    Eine Bitte an Alle: nicht ganze (noch dazu große) Beiträge zitieren und darunter einen kurzen Kommentar schreiben! Besser (beispielsweise): "Volle Zustimmung zu Beitrag 37".
                    Wichtig: zumindest versuchen, beim Thema bleiben!

                    Kommentar


                      #70
                      Peter,

                      Ich verstehe nicht, warum um diese Tests so ein großes Theater gemacht wird.


                      Wenn man Deinen letzten Beitrag liest, könnte man denken, das Wohl der Menschheit hänge davon ab, und ein paar böse Buben, die einen essenzieleln Bestandteil in der Hand halten, blockierten aus dunklen Interessen, dass die Menschheit zur Erlösung geführt würde ...


                      Was ich hier schreibe ist bloß Basiswissen zum Thema "Testdesign".
                      Die Beurteilung, wie gut ein Test abgelaufen ist, ist ein wichtiger Baustein eines Testdesigns.
                      Und den wollte ich eben hier beisteuern.

                      Verblindung ist ein anderer Baustein.
                      Und so gibt es eben viele Bausteine, die im Laufe der Jahre diskutiert wurden.

                      Das ist wie Lego.

                      Jetzt willst Du eine Anleitung, wie Du etwas aus Lego basteln sollst ...

                      Dabei haben Deine sonstigen Beiträge immer einen sehr intelligenten Eindruck auf mich gemacht, sodass ich dachte, Du könntest selber etwas draus machen.


                      Noch keiner hat seinen Test mit den hier beschriebenen Daten überprüft.
                      Es könnte ja sein, dass einer der bestehenden Testansätze ebreits sehr aussagekräftig ist ...

                      Dann bräuchte es kein neues Testdesign.

                      Doch da das bisher keiner gemacht hat, kann man schlecht sagen, welches Ergebnis nun vertrauenswürdiger ist.


                      DAS ist der Kreis, in dem sich dieser Aktionismus dreht.
                      Grüße
                      :S

                      Babak

                      ------------------------------
                      "Alles was wir hören ist eine Meinung, nicht ein Faktum.

                      Alles was wir sehen ist eine Perspektive, nicht die Wahrheit!"


                      Marcus Aurelius

                      Kommentar


                        #71
                        Zitat von Hifiaktiv Beitrag anzeigen
                        Dieser Satz war unnötig, denn das hat er nicht gemacht (auch nicht sinnbildlich).
                        Peter will einfach nicht verstehen, worum es in diesem Thread geht und versucht irgendwelche anderen Sachen zu diskuteren, um die es nicht geht.

                        Da versucht er es eben mit irgendwelchen Provokationsversuchen, bei denen er mir irgendwelche Motive unterstellt.

                        DAS ist für mcih das Hüpfen im Quadrat
                        Grüße
                        :S

                        Babak

                        ------------------------------
                        "Alles was wir hören ist eine Meinung, nicht ein Faktum.

                        Alles was wir sehen ist eine Perspektive, nicht die Wahrheit!"


                        Marcus Aurelius

                        Kommentar


                          #72
                          Zitat von Hifiaktiv Beitrag anzeigen
                          Sie behaupten aber, die dazu notwendigen Tipps gegeben zu haben. Ich frage mich nur - wo? Muss man dazu in mehreren Foren die letzten 10 Jahre durchackern und alles was dazu geschrieben wurde, sortieren, bewerten und zusammenfassen? Wer hat die Zeit dazu?
                          Du hast sogar ein recht detailliertes Konzept erhalten, das nimmer weit von einer konkreten Anleitung ist ...

                          :E
                          Grüße
                          :S

                          Babak

                          ------------------------------
                          "Alles was wir hören ist eine Meinung, nicht ein Faktum.

                          Alles was wir sehen ist eine Perspektive, nicht die Wahrheit!"


                          Marcus Aurelius

                          Kommentar


                            #73
                            Zitat von Hifiaktiv Beitrag anzeigen
                            Weil sie das gar nicht können und das meine ich jetzt nicht sarkastisch. Ein sauber durchgeführter "Blindtest" (also im wissenschaftlichen Sinn) bedeutet einen enormen Aufwand! Selbst ein "nur theoretischer". Die Praxis ist dann noch einmal um ein Vielfaches aufwändiger.
                            Wie hier schon geschrieben:

                            Ich würde erst mal die Ergebnisse aus bestehenden Testansätzen auf ihre Aussagekraft prüfen, wie es in diesem Thread diskutiert wurde.

                            Erst dann kann man sagen, ob ein größerer Aufwand notwendig ist.

                            Kann ja sein, dass einer der Testansätze gut genug ist.
                            Warum sollte man dann noch mehr am Design feilen?


                            Oder stehen hier so viele auf Aktionismus?
                            ;)
                            Grüße
                            :S

                            Babak

                            ------------------------------
                            "Alles was wir hören ist eine Meinung, nicht ein Faktum.

                            Alles was wir sehen ist eine Perspektive, nicht die Wahrheit!"


                            Marcus Aurelius

                            Kommentar


                              #74
                              Ich würde erst mal die Ergebnisse aus bestehenden Testansätzen auf ihre Aussagekraft prüfen, wie es in diesem Thread diskutiert wurde.
                              Babak, für mich sind meine Tests über jeden Zweifel erhaben und ich habe nicht vor, daran noch etwas zu ändern.

                              Die dabei erreichte "Genauigkeit" ist mehr als ausreichend genug, um Hobbyansprüchen zu genügen.

                              Selbst wenn man über wissenschaftliche Tests noch ein bisschen mehr an Genauigkeit rausquetschen könnte (was ich gar nicht bezweifle) so, ist mir das den Aufwand nie wert.

                              Ein Beispiel:
                              Angenommen, bei einem meiner Test kommt raus, dass ein guter Verstärker um 300 Euro auch bei noch so viel Bemühung nicht von einem um 10.000 Euro zu unterscheiden ist (das ist nicht einmal eine Annahme, bisher war es immer so).

                              Dann, bei einem wissenschaftlich angelegten Test stellt man fest, dass ganz wenige Personen, bei bestimmten Musikpassagen und bei direkter Umschaltung (!!!) doch in der Lage waren, eine signifikante Trefferquote zu erzielen.

                              Also unter allerbesten Umständen - sprich: bei mehrfacher Wiederholung speziell ausgesuchter Stellen eines Musikstücks, mit höchster Konzentration und selbst dann noch mit Irrtümern (!), also alles Andere als eindeutig. Somit unter Umständen, die es in der Praxis nie gibt!

                              Na und? Ist das (wenn es nur auf den Klang ankommt, wogegen ich mich sowieso sträube!) tatsächlich 9.700 Euro wert?
                              Gruß
                              David


                              WEBSEITE HiFiAKTIV: Klick mich
                              Einen "Audio-Laien" erkennt man daran, dass er sich viel mehr mit Audiokomponenten beschäftigt als mit Raumakustik, LS-Aufstellung und Hörplatzwahl.
                              Auch Personen, die noch wenig Wissen auf diesem Gebiet haben, oder solche, die Rat und Hinweise von Erfahrenen suchen, sind hier richtig.
                              Meine Auffassung von seriösen Vergleichstests: Klick mich - Die bisherigen Testergebnisse: Klick mich - Private Anlage: Klick mich - Wann gefällt mir ein Musikstück? - Klick mich
                              Grundsätzlich: Behauptungen die mir bedenklich erscheinen, glaube ich nur, wenn sie messtechnisch nachvollziehbar sind und wenn sie mir in Form eines verblindeten Vergleichs bewiesen werden konnten.
                              Eine Bitte an Alle: nicht ganze (noch dazu große) Beiträge zitieren und darunter einen kurzen Kommentar schreiben! Besser (beispielsweise): "Volle Zustimmung zu Beitrag 37".
                              Wichtig: zumindest versuchen, beim Thema bleiben!

                              Kommentar


                                #75
                                Zitat von Hifiaktiv Beitrag anzeigen
                                Babak, für mich sind meine Tests über jeden Zweifel erhaben und ich habe nicht vor, daran noch etwas zu ändern.
                                Schön, dass Du das meinst.

                                Die Daten aus dem Tests lassen so eine Aussage nicht zu.

                                Genau genommen lassen sie gar keine Aussage über Deine Tests zu.
                                Außer, dass Du sie durchgeführt hast.


                                Ohne Daten kann man eben nichts sagen.
                                Schönbeten geht auch nicht ...

                                :S
                                Grüße
                                :S

                                Babak

                                ------------------------------
                                "Alles was wir hören ist eine Meinung, nicht ein Faktum.

                                Alles was wir sehen ist eine Perspektive, nicht die Wahrheit!"


                                Marcus Aurelius

                                Kommentar

                                Lädt...
                                X
                                👍