Begründung für ein „Alles-oder-Nichts“-Design für einen Test zum Zwecke der Diagnose und Epidemologie

Beim Autismus-Spektrum-Quotienten-Test wird der Proband mit fünfzig Aussagen konfrontiert wie:

Ich lese nicht besonders gerne Belletristik.

Ich ziehe es vor, Dinge immer wieder auf die gleiche Weise zu machen.

und wird gefragt, ob sie

  • stimme auf jeden Fall zu,
  • leicht einverstanden,
  • etwas nicht einverstanden, oder
  • definitiv nicht einverstanden

mit ihnen. Es gibt keine neutrale Option.

Der Test wird wie folgt bewertet: Wenn die Testperson einer „autistischen“ Aussage zustimmt, erhält sie einen Punkt. Gleiches gilt, wenn sie einer „nicht-autistischen“ Aussage nicht zustimmen. Es gibt keinen Unterschied zwischen leicht und definitiv zustimmen (oder nicht zustimmen).

Ich würde erwarten, dass dieses Testdesign (keine neutrale Option, keine Unterscheidung zwischen leichten und starken Tendenzen) zu einer Verstärkung von kleinen Effekten führt, wie z. B. Interpretation der Frage, leichte Tendenzen, Priming, Zufall usw. Während ich anerkenne, dass dieser Effekt bei Kundenbefragungen und ähnlichem erwünscht sein kann, erscheint er mir bei einem Test zu diagnostischen und epidemologischen Zwecken (wie diesem Test) problematisch. Zum Beispiel würde ich erwarten, dass Menschen, bei denen bereits Autismus diagnostiziert wurde (und dies wissen) oder Menschen mit klischeehaft autistischen Interessen wie Mathematik eher zur autistischeren Option tendieren – auch wenn ihre tatsächliche Haltung zu der Frage neutral ist.

Nun, ich bin ein Laie und gebe zu, dass die Gestaltung eines solchen Tests nicht einfach ist, da man mehrere Effekte berücksichtigen muss. Daher frage ich mich: Was sind die Gründe für ein solches Testdesign , insbesondere im Hinblick auf seine Anwendungen (Diagnostik und Epidemologie) und meine obige Kritik? Das Papier, das den Test vorstellt, enthält keine Zitate oder Gründe dafür, zumindest nicht in den Abschnitten, in denen ich es erwarten würde.

Dies ist eine absolut gültige, aber sehr weit gefasste Frage. Zu dieser einen Frage gibt es 4 Unterfragen. Erstens, was ist die Geschichte des Autismus-Spektrum-Quotienten-Tests und wie er im Laufe der Jahre validiert / angefochten wurde. Zweitens, wie stark sind die Arten von Tests von Priming und Stereotypen betroffen? Drittens wird dieser Test durch das Fehlen einer neutralen Option untergraben. Viertens sind Erhebungen ohne Vergleichsmethoden noch gültig. Bitte teilen Sie diese Frage in Unterfragen auf, und ich werde sie alle positiv bewerten.
@ Seanny123: Ich verstehe Ihren Standpunkt und da ich nicht einmal annähernd abschätzen kann, wie lang mögliche Antworten sein würden, könnten Sie sehr wohl Recht haben. Bevor ich jedoch Ihrem Vorschlag folge, bedenken Sie bitte Folgendes: 1) Ich interessiere mich nicht sehr für die Historie oder Validierung des Tests an sich, es sei denn, sie liefert Antworten auf meine Hauptfrage(n). 2) Die Probleme, die in Ihren letzten drei Fragen an sich angesprochen wurden, machen mir keine großen Sorgen (z. B. erkenne ich voll und ganz an, dass der Einfluss von Priming und Stereotypen unvermeidlich ist). Stattdessen beschäftige ich mich mit ihrem Zusammenspiel.
Ich verstehe, dass Sie (zu Recht) nur an ihrem Zusammenspiel interessiert sind, aber ich denke, was ich behaupte, ist, dass ich persönlich denke, dass wir zuerst ihre individuelle Gültigkeit feststellen müssen, bevor wir ihr Zusammenspiel in Betracht ziehen.
@ Seanny123: Ich habe die Frage eingegrenzt, wenn auch nicht so weit, wie Sie vorgeschlagen haben. Ich hoffe immer noch, dass das jetzt eng genug ist.
Ich glaube, die Frage wurde so weit reduziert, dass sie beantwortbar wurde. Warum geben die Entwickler des Autismus-Spektrum-Quotienten-Tests einfach vier Optionen an, wenn sie ihn auf nur zwei reduzieren (stimme zu oder stimme nicht zu)?
Warum gehen Sie davon aus, dass die besten Mathematiker kein Asperger oder Autismus haben? Derzeit rekrutieren High-Tech- und IT-Unternehmen gezielt hochfunktionale Autisten, weil sie in Mathematik und Programmierung oft besser sind als Nicht-Autisten. Vielleicht spiegeln die Testergebnisse nur die Tatsache wider, dass viele (möglicherweise subklinische) Autisten eine Karriere in einem Bereich wählen, der ihre Eigenschaften belohnt.
@what: Warum nehmen Sie an, dass die Mathematiker mit den besten Punkten kein Asperger oder Autismus haben? – Wo sagt man das? Nur dass ich mir Sorgen mache, ob ein Test fehlerhaft ist, bedeutet nicht, dass ich alle Schlussfolgerungen, die aus seinen Ergebnissen gezogen werden, für falsch halte. Mein Problem mit dem Testdesign ist (um ehrlich zu sein), dass es messen kann, ob jemand Mathematiker ist und nicht, ob jemand Autist ist. Dies wäre problematisch, da der Test zB bei einem nicht-autistischen Mathematiker Autismus diagnostizieren kann.
@Wrzlprmft "Menschen mit klischeehaft autistischen Interessen wie Mathematik" Sehr wahrscheinlich ist diese Ähnlichkeit nicht "klischeehaft", sondern sehr bedeutungsvoll.
@what: Hinter vielen Klischees steckt eine Wahrheit, aber das befreit sie nicht davon, Klischees zu sein. Nicht jeder, der sich für Mathematik interessiert, ist automatisch Autist. Dennoch kann eine solche Person geprimt werden, dass sie „autistischer“ als die durchschnittliche Bevölkerung ist und daher eher die „autistische“ Option im Test wählt (weil sie gezwungen ist, eine Wahl zu treffen). Aber ein solches Priming ist etwas, das Sie nicht in einem Test widerspiegeln möchten (natürlich können Sie es nicht vollständig vermeiden, aber dieser Test scheint es zu verstärken).

Antworten (1)

Viele Konstruktskalen werden mit relativ wenig Aufmerksamkeit für den Inhalt entwickelt. Forscher können mit einer großen Anzahl von möglichen Fragen, Versionen, Formaten und Formulierungen beginnen und sie dann durch einen Validierungsprozess auf eine Teilmenge eingrenzen, die gut mit dem Konstrukt korreliert, das sie zu messen versuchen. Das Ziel ist ein Gleichgewicht zwischen einem kurzen Test und gleichzeitiger Beibehaltung seines Vorhersagewerts. In der Einführung von Baron-Cohen et al. (2001) stellen sie fest:

Der im Anhang gezeigte AQ ist das Ergebnis von Pilotversuchen mit mehreren Versionen über mehrere Jahre.

In vielen Fällen kümmern sich die Forscher weniger darum , warum die Fragen funktionieren, als vielmehr darum, dass sie funktionieren.

Allerdings kann die Entscheidung für ein Forced-Choice- Format im Gegensatz zu einer Bewertungsskala vom Likert-Typ mit mehr Granularität und einer neutralen Option politisch sein:

Ipsative Maßnahmen können nützlicher sein, um Merkmale innerhalb einer Person zu bewerten, während Likert-Skalen nützlicher sind, um Merkmale über Personen hinweg zu bewerten.

Dies kann Forced-Choice-Maßnahmen für stigmatisierte Bezeichnungen wünschenswert machen, um davon abzuhalten, Personen miteinander zu vergleichen:

Die Ermutigung der Schüler, ihre vorherigen Ergebnisse zu übertreffen, kann den Gruppendruck aus Situationen nehmen und das Wettbewerbselement beseitigen, das mit normbasiertem Referenzieren verbunden ist.

Beachten Sie auch, dass die ursprüngliche Studie bestätigt, dass Mathematiker auf dieser Skala erwartungsgemäß deutlich besser abschneiden:

... Wissenschaftler besser abschneiden als Nicht-Wissenschaftler; und innerhalb der Naturwissenschaften schneiden Mathematik, Naturwissenschaftler, Informatiker und Ingenieure besser ab als die eher human- oder lebenszentrierten Wissenschaften Medizin (einschließlich Veterinärwissenschaften) und Biologie. Dieser letztgenannte Befund wiederholt unsere früheren Studien, in denen ein Zusammenhang zwischen Autismus-Spektrum-Bedingungen und Berufen / Fähigkeiten in Mathematik, Physik und Ingenieurwesen festgestellt wurde.

Dies deutet darauf hin, dass die Autoren es für vollkommen legitim hielten, dass Mathematiker auf ihrer Autismus-Skala höher abschneiden (dh diese Skala ist nicht dafür ausgelegt, die autistischen Tendenzen von Mathematikern von denen von Personen zu unterscheiden, bei denen Autismus diagnostiziert wurde).

Sofern ich die Terminologie nicht völlig falsch verstanden habe, ist der AS-Test kein ipsativer Test. Vielmehr handelt es sich um einen Likert-Skalentest ohne neutrale Option. Ich verstehe auch nicht, was das Beurteilen von Schülern und das Übertreffen früherer Ergebnisse mit dem AS-Test zu tun hat.
Die ursprüngliche Studie bestätigt, dass Mathematiker auf dieser Skala erwartungsgemäß deutlich besser abschneiden – Sicher, aber das spricht nicht meine Zweifel an, die (etwas übertrieben) lauten: Durch die Art und Weise, wie der Test konzipiert ist, werden kleine Tendenzen verstärkt. Zum Beispiel würde ein Mathematiker einer „autistischen“ Option leicht zustimmen, weil er darauf vorbereitet ist, dass er etwas autistischer als der Durchschnitt ist. Daher wird ein hoher AS-Wert für Mathematiker vom Testdesign erwartet und sagt nichts über die Realität aus.
@Wrzlprmft Ja, es ist ein Forced-Choice-Test (ipsativ), die Autoren selbst geben dies in der Arbeit an. Eine Likert-Skala würde unterschiedliche Bewertungen für leichte vs. starke (nicht) Zustimmung haben. Ich habe lediglich darauf hingewiesen, dass die Bewertung in solchen Tests von Vergleichen zwischen Patienten abhält (im Vergleich zu beispielsweise IQ-Tests), was sie möglicherweise für diagnostische Tests mit potenziell stigmatisierenden Bezeichnungen vorzuziehen macht. Die Autoren erklären ihre Entscheidung nicht auf die eine oder andere Weise.
Erzählen Sie uns von der Realität, dies ist der Zweck der Validierung (ein Thema, das viel zu groß für diesen Beitrag ist, aber siehe cogsci.stackexchange.com/questions/9610/… für weitere Details). Der Validierungsprozess bestätigte, dass die Verstärkung sowohl erwartet als auch realisiert wurde, und sagt uns tatsächlich, was wir von dieser Skala über die Realität wissen wollen – dh, dass Mathematiker überdurchschnittliche autistische Tendenzen haben. Es ist möglich, dass Sie denken, dass diese Skala etwas anderes messen sollte, als die Autoren glauben, dass sie messen sollte.
Zum Thema Validierung: Ich glaube, ich verstehe das. Mein Problem ist eher, dass der Test Eigenschaften hat, die ihn unabhängig von den gewünschten Qualitäten erfolgreich validieren lassen. Stellen Sie sich als einfaches und krasses Beispiel eine Welt vor, in der 80 % aller Mathematiker Autisten sind und umgekehrt, und stellen Sie sich einen Test vor, der einfach fragt, ob sie Mathematiker sind. Dieser Test ist offensichtlich fehlerhaft, muss jedoch eine grundlegende Validierung bestehen.
Ja absolut. Wie gesagt, das ist eine Diskussion, die über den Rahmen dieser Frage hinausgeht (obwohl der Beitrag, auf den ich verlinkt habe, dieses Thema behandelt - zum Beispiel ist Ihre Behauptung, dass Autismus und Mathematik getrennte Konstrukte sind, genauso umstritten wie eine Skala, die Mathematik misst wenn es ist vorgibt, Autismus zu messen!). Wie auch immer, es hört sich so an, als ob Sie die Probleme bereits gut verstanden haben.
über den Rahmen dieser Frage hinaus – nun, es ist mehr oder weniger meine zentrale Frage. Ich bin jedoch offen für die Möglichkeit, dass die Antwort auf diese Frage darin besteht, dass der Test in dieser Hinsicht tatsächlich fehlerhaft ist.
Ihre Frage war "Was sind die Gründe für ein solches Testdesign", nicht "Ist dieses Testdesign fehlerhaft?". Wäre Ihre Frage "Ist dieses Testdesign fehlerhaft" gewesen, wäre sie wahrscheinlich geschlossen worden, weil sie hauptsächlich auf Meinungen basiert, was außerhalb des Zuständigkeitsbereichs dieses Forums liegt. Ich vermute, Sie denken, dass diese Skala etwas anderes messen sollte, als die Autoren glauben, dass sie messen sollte.
Sie haben recht, „dieser Test ist fehlerhaft“ ging etwas zu weit. Vielmehr hieß es: „Wurde dieser mögliche Effekt berücksichtigt?“ Jedenfalls beschwere ich mich nicht.
Begründung für ein „Alles-oder-Nichts“-Design für einen Test zum Zwecke der Diagnose und Epidemologie
AntwortenHierDatenschutz-Bestimmungen1y, 0v