Ankündigung

Einklappen
Keine Ankündigung bisher.

Wann ist ein Test aussagekräftig und somit seriös?

Einklappen
X
 
  • Filter
  • Zeit
  • Anzeigen
Alles löschen
neue Beiträge

    #31
    Die letzten 3 (warens 3 ?) Beitraege sollten meiner Meinung nach ohne dass der Threadersteller dies verlangt vom Moderator geloescht werden.......einfach so......

    PS
    Hab mich verzaehlt, waren eher 4 bis 5....

    Plus diesen Beitrag hier natuerlich....

    PSS

    was macht mehr Sinn, Personen auszuschliessen oder, als Alternative, was auch immer Posts (zb nix zum Thema, persoenliche Angriffe etc, alte Animositaeten) zu loeschen?

    die Diskussionskultur koennte davon profitieren, desgleichen die Vielfalt......von der Alternative.....
    Zuletzt geändert von Gast; 14.02.2013, 19:57.

    Kommentar


      #32
      Zitat von Babak Beitrag anzeigen
      Hallo

      Nein gar nicht.

      Streitthema ist ja immer wieder, welcher Testansatz "besser" ist.
      • Langzeit-Tests gegen Kurzzeit-Tests
      • Sehend oder verdeckt
      • Umstecken oder Umschaltbox
      • Pegel ausgeglichen oder nicht
      • Musik oder Testsignale
      • Einzel oder Gruppe
      • Holzohr oder Goldohr
      • Lautsprecher oder Kopfhörer

      Und weiß der Kuckuck was noch

      Doch ob jetzt diese Absätze wirklich etwas besser machen, konnte bisher keiner schlüssig zeigen.


      Da bleibt es bei persönlichen Überzeugungen, dass es jeder richtiger macht als der andere.
      Und es kommt unweigerlich zu Streit.


      Hier geht es um die Effektivität des Tests.
      Wie wirksam sind die Maßnahmen wirklich?


      Das wird ja wo anders genauso gemacht:
      Erst messen
      Dann Verbesserungsmaßnahmen umsetzen
      Am Ende nochmal messen um zu sehen, ob es gewirkt hat und besser geworden ist.


      Tut man das nicht, kann man nicht sagen, ob und wie gut es geworden ist.


      Wenn man etwas erreichen will, muss man doch auch irgendwie bestimmten können, wie gut man unterwegs ist, ob man das Ziel erreicht oder es verfehlt.
      Hallo Babak,

      nur eine kurze Skizze wie man meiner Ansicht nach weiter vorgehen könnte: Jetzt haben wir die Signifikanzen. Nach meinem Dafürhalten beginnt jetzt die Arbeit am Set. Nämlich herauszufinden, welcher Testaufbau möglichst zuverlässig positive Ergebnisse produziert. Dafür würde ich nach der folgenden Regel vorgehen: "Keep it small and simple." Das bedeutet für mich, möglichst Einzeltests durchzuführen, nicht mehr als zwei Geräte miteinander zu vergleichen, eine Umschaltbox zu benutzen, die Pegel abzugleichen, niemals mehr als eine Variable gleichzeitig zu verändern etc.

      Mit dem möglichst einfachen Setting würde ich jetzt versuchen, mutmaßliche intervenierende Variable zu entlarven. Ich würde z.B. bei zwei oder drei unterschiedlichen Pegeln (die zu definieren sind) hören und die Ergebnisse unter Berücksichtigung der statistischen Signifikanz miteinander vergleichen. Dabei würde ich zu den unterschiedlichen Pegeln jeweils eine Testreihe mit mind. 5 Durchgängen an unterschiedlichen Tagen durchführen. Ziel: Maskierungseffekte durch Lautstärke aufdecken. Das Ergebnis mit den meisten Treffern (Signifikanzniveau), wäre für die nächsten Versuche, weitere intervenierende Variable zu entdecken, die Ausgangsbasis. Läge das Signifikanzniveau bspw. bei "mittleren" Pegeln, würde ich die nachfolgenden Versuche bei mittleren Pegeln durchführen.

      Dann könnte man z.B. Kurzzeit- und Langzeittests durchführen, hörbares Umschalten vs. unhörbares Umschalten usw.
      Freilich ist das alles sehr langwierig, der Aufwand an sich hält sich aber in Grenzen. Dennoch gibt es Unwägbarkeiten: Z.B. ob sich bestimmte Variable so addieren, dass falsch-negative oder falsch-positive Ergebnisse erzeugt werden. Trotzdem kann man meiner Ansicht nach abschätzen, wie welche Variable das Ergebnis in welche Richtung beeinflusst.

      Das ist natürlich nur ein Weg. Ich glaube aber, dass er tatsächlich gangbar ist. Ob man sich den "antun" möchte, muss jeder für sich entscheiden.
      Beste Grüße,
      Mike

      ____________________
      Hier steht keine Signatur...

      Kommentar


        #33
        OT
        Zufall, die neue Signatur?
        End OT

        Kommentar


          #34
          Zitat von LowIQ Beitrag anzeigen
          OT
          Zufall, die neue Signatur?
          End OT
          Missverständliches Entfernt. :D
          Beste Grüße,
          Mike

          ____________________
          Hier steht keine Signatur...

          Kommentar


            #35
            :F Alles wird gut....

            Kommentar


              #36
              @HOMMEgrün

              Du warst leider nicht wieder weg, sondern hast bloß weiter gelästert

              An dieser Diskussion ist nichts für irgendjemanden geschäftsschäfigend.



              Genau solche Beiträge sind komplett unnütz und tragen null zum Thema bei
              Grüße
              :S

              Babak

              ------------------------------
              "Alles was wir hören ist eine Meinung, nicht ein Faktum.

              Alles was wir sehen ist eine Perspektive, nicht die Wahrheit!"


              Marcus Aurelius

              Kommentar


                #37
                Hallo Peter,


                Zitat von P.Krips Beitrag anzeigen
                ich befürchte leider, daß wir uns diesen Thread wirklich sparen können.
                Tut mir leid, dass das Thema, zu dem ich einen Thread eröffnet habe, nicht Deine Interessen behandelt.
                Solltest Du spezifische Fragen haben, eröffne einfach einen Thread.


                Zitat von P.Krips Beitrag anzeigen
                Und: Wir sind dabei der Beantwortung der Frage, wie ein valider Test denn nach Babaks Meinung auszusehen hat, keinen Millimeter näher gekommen.
                Weil diese Thread ein anderes Thema behandelt:

                Und zwar:
                Wann handelt es sich um einen Test, der valude Ergebnisse produziert?

                Woran erkennt man den?

                Nicht an dem, wie er aufgebaut ist, sondern an dem, wie die Ergebnisse aussehen.


                Das Erreichte zählt, und nicht das Erzählte reicht.
                (frei nach Alfred Dorfer)



                Zitat von P.Krips Beitrag anzeigen
                Im Grunde genommen wird ja hier nur etwas neu angefangen, was in dieser Form ja nun schon bis zum :K: seit einigen Jahren in mittlerweile einigen einschlägigen Threads behandelt wird.
                Seit Jahren wirdim Forum angesprochen, dass es gemacht werden sollte.

                Getan wurde es bisher noch nicht.

                Es wurde nur darüber geredet.

                Zitat von P.Krips Beitrag anzeigen
                Warum wird das nicht praktischer angegangen ?
                Frage ich mich auch.
                Daten sind ja neutral



                Zitat von P.Krips Beitrag anzeigen
                HEs gibt doch mittlerweile einige veranstaltete Tests. Wenn die analysiert werden mit konreten Vorschlägen/Anweisungen, welche Punkte im Ablauf wie geändert gehören, damit es "passt", haben wir doch eine Chance, der eigentlich interessanten Frage näher zu kommen:

                Wie sieht ein "wasserdichter" Test aus ?
                Genau

                Wenn sie mal analysiert werden.

                Um diese Analyse geht es.

                Hat man die mal durchgeführt, kann man - wie Du schreibst - etwaige Schwachstellen ausbessern.

                Doch erst muss mal analysiert werden.
                Das ist bisher noch nicht passiert.

                Genau darum geht es hier.


                Zitat von P.Krips Beitrag anzeigen
                Das und nur das kann doch Ziel des Ganzen sein, ansonsten kann man sich die ganze Prozedur hier sparen.
                Genau

                Da die Analyse da eine wichtige Basis darstellt, muss mal klar sein, wie man die Richtigkeit eines Testansatzes analysiert.

                Genau darum geht es hier.


                Zitat von P.Krips Beitrag anzeigen
                Selbst wenn wir nach Monaten oder Jahren dann mal abschließend wissen sollten welche Kriterien so ein Test erfüllen muß, dann ist noch lange nicht klar, wie so ein Test praktisch aussehen muß, damit er die Kriterien erfüllt.
                Ohne die Kriterien zu kennen, kann man nicht sagen, wie tauglich ein Testansatz ist.

                Niemand entwickelt irgendwas ins Blaue hinein, ohne irgendeine Prüfung parat zu haben, mit der er bestimmen kann, ob seine Lösung gut ist oder nicht.

                Die bisherigen Tests wurden ohne so eine Prüfung entwickelt.
                Ob jetzt einer "besser" ist als ein anderer, war nur Sache von Meinungen, Abschätzungen und Ansichten.


                Hier geht es darum, objektiver sagen zu können, welcher Testsansatz wirklich wie viel taugt.


                Ist Dir ein Blindflug lieber?
                Tests munter drauf los aufbauen, ohne zu wissen, ob die Ergebnisse gut oder nicht gut sind?





                Zitat von P.Krips Beitrag anzeigen
                Mit an Sicherheit grenzender Wahrscheinlichkeit werden wir dann folgendes Scenario erleben:
                Dann kommt jemand auf die Idee, einen Test so anzulegen, wie er meint das hier dann Vorliegende verstanden zu haben, und wird promt hier wieder zerlegt, weil Babak und Co dann doch wieder ein Haar in der Suppe finden.
                Das wird dann eine prima Endlosspirale....
                Polemisieren kannst Du gerne in einem anderen Thread.
                Das will ich hier nicht haben.

                Das Szenario wird anders sein:
                Jemand baut einen Test auf.
                Er führt ihn durch.
                Er präsentiert die Daten (Negativkontrollen, Positivkontrollen, Ergebnisse der Vergleiche).

                Anhand der Daten kann dan gesagt werden:
                • ob der Test auch falsch-positive Ergebnisse geliefert hat
                • ob der Test auch falsch-negative Ergebnisse geliefert hat
                • wie Aussagekräftig die Ergebnisse sind


                Anhand dieser Informationen kann man spezifisch an Verbesserungen des Tests arbeiten.
                Für die Reduktion falsch-positiver Ergebnisse braucht es nämlich ganz andere Methoden und Konzeptze als für die Reduktion falsch-negativer Ergebnisse.


                Nur so kann man sich Schritt für Schritt auf einen vertrauenswürdigen Test hinarbeiten.


                Ohne diesen Daten kann amn nichts sagen, und jeder baut -wie bisher - Methoden nur nach persönlichem Gutdünken und auf reine vermuting hin ein, ohne genau sagen zu können, ob der Test dann wirklich besser wurde.



                Zitat von P.Krips Beitrag anzeigen
                Babak (du Schlingel...;) ), gebe doch einfach zu, daß du ein heimliches Goldohr bist und den ganzen Zinnober doch nur als Verwirrungsstrategie veranstaltest, um potentielle Ausrichter von Tests so zu verunsichern, daß sich keiner mehr traut, sowas anzugehen.
                Bin weder Holzohr noch Goldohr.

                Ja, ich will potenzielle Ausrichter von Tests sehr wohl verunsichern.


                Ich will sie so verunsichern, dass sie sich nimmer trauen, irgend eine Aussage über Tests zu machen, ohne solche Daten vorzulegen, auf denen ihre Beurteilung basiert ... ;)



                Zitat von P.Krips Beitrag anzeigen
                Wenn du die Kompetenz über Testverfahren tatsächlich hast, wie du es hier schon seit Jahren in den Threads versuchst den Eindruck zu erwecken, dann lege endlich ein valides Testverfahren auf den Tisch
                Du hast eben die Diskussionen nicht verfolgt.

                Kurz gesagt:
                Ich persönlich sehe nicht, welchen großen Vorteil das Wissen um mögliche Unterschiede zwischen verschiedenen Verstärkern, CD-Playern etc. bringt.



                Zitat von P.Krips Beitrag anzeigen
                Was bezweckst du eigentlich ?
                Fachliche Unterstützung, damit diese leidigen Diskussionen endlich mal auf belastbare Fakten aufbbauen.
                Bisher waren es nur Meinungen und Ansichten, das führte nur zu Streit.

                Über Daten und Fakten kann man nimmer so gut streiten.



                Deine Vermutungen über meine Motivation gehören auch nciht hierher, denn da machst Du Dir mehr Gedanken über meine Person als über den sachlichen Inhalt des Threads.



                Sei froh, dass ich zu einem Thema, dessen Ergebnis mir vollkommen egal ist, fachliche Inputs gebe.

                In disem Sinne:

                Bleib bitte in diesem Thread bei diesem Thema.
                Willst Du andere Themen diskutieren oder diskutiert haben, eröffne bitte einen anderen Thread.

                Danke

                :M
                LG
                Babak
                Grüße
                :S

                Babak

                ------------------------------
                "Alles was wir hören ist eine Meinung, nicht ein Faktum.

                Alles was wir sehen ist eine Perspektive, nicht die Wahrheit!"


                Marcus Aurelius

                Kommentar


                  #38
                  Ich versteh's nicht, da bemüht sich jemand, die Grundlagen für einen validen Test darzulegen, und was passiert. Zwei Leute haben nichts besseres zu tun als zu jammern!

                  Das Thema heißt "wann ist ein Test aussagekräftig und somit seriös?" (steht doch eindeutig als Überschrift des Threads ganz oben). d. h. es geht hier noch nicht um die Testdurchführung.

                  Nur weil jahrelang das Pferd von hinten aufgezäumt wurde, muss das nicht in alle Ewigkeit so weitergehen.

                  Warum seid ihr nicht dankbar dafür, dass jemand wie Babak sich soviel mühe macht und in seiner Freizeit hier sein wissen ausbreitet? Warum eröffnet ihr nicht einen eigenen Thread zu einem anderen Thema, das euch mehr interessiert?

                  Es gibt nur zwei vernünftige Möglichkeiten: entweder man hat was zum Thema beizutragen, dann ist es jederzeit willkommen, dazu gehört auch nachfragen, wenn man etwas nicht versteht, es ist ja nicht jeder mit wissenschaftlichen Methoden vertraut. die zweite seriöse Möglichkeit ist, einfach nichts zu sagen.

                  Einer, der noch immer die Hoffnung hat, dass sich hier nach Jahren was zum besseren ändert,

                  Gerd

                  Kommentar


                    #39
                    Hallo,
                    ich werde mich jetzt (zumindest vorläufig) aus dem Thread zurückziehen und abwarten, was dabei herauskommt.

                    Seit Jahren kreist die Diskussion meist unter Wortführerschaft des TE um dieses Thema, ohne daß dabei was wirklich verwertbares herausgekommen ist.
                    Daher bin ich nicht sonderlich optimistisch, warum denn nun ausgerechnet hier beim x-ten Neuanlauf etwas Konkretes dabei herauskommen sollte.

                    @Babak:
                    Ich greife mal eine Textpassage aus deiner ausführlichen Antwort auf ein früheres Post von mir auf:

                    " Das Szenario wird anders sein:
                    Jemand baut einen Test auf.
                    Er führt ihn durch.
                    Er präsentiert die Daten (Negativkontrollen, Positivkontrollen, Ergebnisse der Vergleiche).

                    Anhand der Daten kann dan gesagt werden:
                    • ob der Test auch falsch-positive Ergebnisse geliefert hat
                    • ob der Test auch falsch-negative Ergebnisse geliefert hat
                    • wie Aussagekräftig die Ergebnisse sind


                    Anhand dieser Informationen kann man spezifisch an Verbesserungen des Tests arbeiten.
                    Für die Reduktion falsch-positiver Ergebnisse braucht es nämlich ganz andere Methoden und Konzeptze als für die Reduktion falsch-negativer Ergebnisse.


                    Nur so kann man sich Schritt für Schritt auf einen vertrauenswürdigen Test hinarbeiten.


                    Ohne diesen Daten kann amn nichts sagen, und jeder baut -wie bisher - Methoden nur nach persönlichem Gutdünken und auf reine vermuting hin ein, ohne genau sagen zu können, ob der Test dann wirklich besser wurde."

                    Wenn du das so aufziehen willst, bin ich sicher, daß hier nichts dabei herauskommt, möglicherweise auch nichts dabei herauskommen soll.

                    Immerhin hat es ja in der Vergangenheit einige u.A. von David durchgeführte Vergleichstests gegeben, die von dir und Anderen zerpflückt wurden.
                    Allerdings kann ich mich nicht erinnern, daß dabei von dir oder Anderen jemals KONKRETE Vorschläge gemacht wurden, in welchen Punkten die Tests wie abgewandelt werden sollten, um die Kriterien dieses Threadtitels zu genügen.

                    Deiner Meinung nach (aus der zitierten Textpassage) soll man also erst erneut einen Test durchführen, der dann ja - welch Überraschung - kaum die Kriterien erfüllen wird, weil es ja keine "to-do"-Liste gibt, um dann anschließend wieder von Dir und Anderen mit Kritik an der Tauglichkeit "zerpflückt" zu werden.

                    Das ist es, was ich mit das Pferd von hinten aufzäumen gemeint habe. Auf diesem Weg kommen wir meiner Meinung nach in eine Endlosspirale, die zu nichts führt.

                    Das Verfahren hat ja schon bei den vergangenen Tests Null Komma Null Erkenntnisgewinn für Testausrichter gebracht, WIE sie die Tests auslegen sollten, damit die Ergebnisse valide werden.

                    Wieso soll ich oder Jemand nun glauben, daß es bei diesem erneuten Anlauf nun zu anderen Ergebnissen führen sollte als in der Vergangenheit schon erlebt ?

                    Und, und da wiederhole ich mich, man kann ja in all den bisherigen Threads zum Thema prima nachlesen (auch wenn es mühselig ist), welche Fehler tatsächlich oder vermeintlich gemacht wurde und welche Kriterien nicht hinreichend erfüllt wurden.

                    Konkrete Vorschläge, was aber genau wie gemacht werden muß, um die Tests nicht mehr kritikwürdig zu machen fand ich aber nahezu keine.

                    Genau darum geht es aber eigentlich heute:
                    Wie es nicht funktioniert, liegt mittlerweile in epischer Breite vor, nun muss endlich Konkretes auf den Tisch, wie man einen validen Test durchführen muß, da kann man ja gerne als Beispiel einige der in der Vergangenheit schon gemachten und "durchgefallenen" Tests nehmen und zwar so, daß dabei eine "Gebrauchsanweisung" herauskommt, mit der man so einen Test durchführen kann, der nicht mehr kritikwürdig ist.

                    Bin wirklich gespannt, ob ich das noch vor einsetzender Altersdemenz oder Umzug zum Friedhof erlebe....

                    Gruß
                    Peter Krips

                    P.S. Ich werde mich nun hier weitestgehend raushalten.

                    Kommentar


                      #40
                      Zitat von P.Krips Beitrag anzeigen
                      Allerdings kann ich mich nicht erinnern, daß dabei von dir oder Anderen jemals KONKRETE Vorschläge gemacht wurden, in welchen Punkten die Tests wie abgewandelt werden sollten, um die Kriterien dieses Threadtitels zu genügen.
                      Aber natürlich, jede Menge. Nur zwei Beispiele: Doppelte Verblindung und statistische Auswertung der Resultate. Konkreter gehts nicht mehr.

                      Die Frage der Kontrollen ist, wie bereits erwähnt, schwieriger...

                      lg
                      reno

                      Kommentar


                        #41
                        Zusätzlich gab es früher oft den Hinweis

                        -) Positiv- und Negativkontrollen einzusetzen (mit konkreten Vorschlägen zur Realisation)
                        -) Training der jeweiligen Teilnehmer unter Testbedingungen durchzuführen
                        -) Konkretisierung der Testfragestellung

                        Gruß
                        Gewerblicher Teilnehmer. Entwicklung, Herstellung und Vertrieb von Audiotechnik. (u.a.)

                        Kommentar


                          #42
                          Zitat von Reno Barth Beitrag anzeigen
                          Aber natürlich, jede Menge. Nur zwei Beispiele: Doppelte Verblindung und statistische Auswertung der Resultate. Konkreter gehts nicht mehr.
                          Unter "Doppelte Verblindung" kann ich mir nun gar nichts vorstellen und auch die Tante Google konnte mir darüber nicht Auskunft geben. Kannst Du mir da auf die Sprünge helfen?

                          Und statistische Auswertung: Was genau sollte die beinhalten?

                          Herby

                          Kommentar


                            #43
                            na geh, Tante Google weiß alles:



                            oder hier

                            Eine randomisierte kontrollierte Studie, kurz RCT, ist ein Studiendesign für experimentelle Studien, das aufgrund seiner Eigenschaften als...


                            doppelt verblindet heißt, dass auch der Versuchsleiter nicht weiß, was gerade spielt.

                            zur Statistik später, muss jetzt weg und das dauert etwas länger...

                            lg
                            reno

                            Kommentar


                              #44
                              Zitat von Phototipps.com Beitrag anzeigen
                              Unter "Doppelte Verblindung" kann ich mir nun gar nichts vorstellen und auch die Tante Google konnte mir darüber nicht Auskunft geben. Kannst Du mir da auf die Sprünge helfen?

                              Und statistische Auswertung: Was genau sollte die beinhalten?

                              Herby
                              OT

                              Nach all Deinen posts im anderen thread hats mir jetzt grad die Socken ausgezogen.....

                              End OT

                              Kommentar


                                #45
                                Zitat von Phototipps.com Beitrag anzeigen
                                Unter "Doppelte Verblindung" kann ich mir nun gar nichts vorstellen und auch die Tante Google konnte mir darüber nicht Auskunft geben. Kannst Du mir da auf die Sprünge helfen?

                                Und statistische Auswertung: Was genau sollte die beinhalten?

                                Herby

                                Was ist am Googeln so schwer, vor allem wenn man aus der EDV-Branche kommt?

                                "Doppelte Verblindung" eingeben und das ernten:


                                Gruss,
                                Gerd

                                Kommentar

                                Lädt...
                                X
                                👍