Wie trifft man eine Entscheidung zwischen verschiedenen kognitiven Tests für dasselbe Konstrukt?

Es gibt systematische Möglichkeiten, ähnliche Tests zu vergleichen und festzustellen, welcher Test am besten zu Ihren Anforderungen passt.

Konstruktdefinition Identifizieren Sie die Konstrukte (in diesem Fall Eigenschaften oder Fähigkeiten), an denen Sie interessiert sind, und definieren Sie die Bedeutung jedes Konstrukts klar. Kognitive Leistung kann viele Bereiche umfassen, einschließlich Gedächtnis, Verarbeitungsgeschwindigkeit, psychomotorische Funktion und verschiedene Aspekte der Intelligenz (einschließlich sozialer Intelligenz). Sobald Sie identifiziert haben, welche Komponenten Ihrer Meinung nach der Schlüssel zur „höchsten kognitiven Verarbeitung“ sind, verwenden Sie Literatur in Ihrem Fachgebiet, um akzeptierte oder theoriegeleitete operationalisierte Definitionen für jedes Konstrukt zu entwickeln, damit Sie einen Standard haben, mit dem Sie verschiedene Tests vergleichen können.

Testidentifikation Identifizieren Sie potenzielle Tests; Im Allgemeinen können Sie anhand ihres Titels oder ihrer kurzen Beschreibung Tests identifizieren, die interessante Konstrukte bewerten. Beim Vergleich von Tests sind jedoch mehrere Dinge zu beachten, um 1) sicherzustellen, dass der Test tatsächlich Ihr interessierendes Konstrukt misst, 2) ähnliche Arten von Tests zu vergleichen und 3) den Test auszuwählen, der Ihren Anforderungen am besten entspricht.

Validität Bewerten Sie verschiedene Aspekte der Testvalidität für jeden Test. Konstruktvaliditätbewertet, ob der Test das interessierende Konstrukt misst; Eine schnelle (wenn auch nicht gründliche) Methode zur Bewertung der Konstruktvalidität besteht darin, die Definition oder Theorie, die die Entwickler des Tests verwenden, mit der von Ihnen erstellten Definition zu vergleichen. Wenn Sie „Depression“ in kognitiven Begriffen definiert haben (Schwierigkeiten beim Denken, Ablenkung, nachdenkliche Gedanken) und der Test, den Sie bewerten, in emotionalen oder somatischen Begriffen definiert hat (traurig, hoffnungslos, Schlafstörungen, Appetitlosigkeit), dann das Der Test würde nicht Ihrer Definition von Depression entsprechen und erfasst möglicherweise nicht das Konstrukt, an dem Sie interessiert sind. Ich empfehle, diese Definitionen als Ausgangspunkt zu verwenden, damit Sie sicher sind, dass der Test für Ihre Zwecke geeignet ist. Sie sollten jedoch auch andere Arten der Gültigkeit in Betracht ziehen. Inhaltsgültigkeitbewertet, ob es einen Teil eines Konstrukts (wie Faktenwissen) oder das gesamte Konstrukt (wie Faktenwissen und die Anwendung dieses Wissens) erfasst. Kriterium/prädiktive Validität ist, ob der Test gezeigt hat, dass er bestimmte zu einem späteren Zeitpunkt gemessene Ergebnisse vorhersagt; Ein Beispiel ist zu sehen, ob ein Lesetest die Jahresendnoten im Lesen vorhersagt. Die Kriteriumsvalidität wird am häufigsten in Leistungs- oder Beschäftigungstests verwendet und ist für Ihre Arbeit möglicherweise nicht relevant.

Andere psychometrische Eigenschaften Bewerten Sie zusätzliche psychometrische Eigenschaften jedes Maßes. Gibt es Hinweise auf konvergente (korreliert positiv mit ähnlichen Variablen) und divergente (korreliert negativ oder null mit unähnlichen Variablen) Validität? Wurde eine Test-Retest- oder Inter-Rater-Reliabilität festgestellt? Haben die Skalen eine gute interne Konsistenz (Cronbachs Alpha)? Ist die Sensitivität (Anzahl richtig positiver Ergebnisse) und Spezifität (Anzahl richtig negativer Ergebnisse) bekannt?

Normen und Entwicklung Denken Sie darüber nach, mit welchen Gruppen der Test verwendet und entwickelt wurde. Wurde er nur auf der Grundlage von Stichproben von College-Studenten entwickelt? Wurde es in verschiedenen Gruppen validiert? Einige der bekannteren Batterien können „genormte“ Tests sein, die es Ihnen ermöglichen, die Ergebnisse mit einer genau definierten Referenzprobe zu vergleichen. Wenn sich diese Stichprobe jedoch drastisch von der Population unterscheidet, mit der Sie arbeiten, ist es möglicherweise nicht hilfreich, diesen Vergleich anzustellen.

Testbelastung und Bewertung sekundärer Merkmale Sie müssen auch entscheiden, ob es bestimmte Faktoren gibt, die die Verwendung eines Tests erschweren könnten, wie z. B. übermäßige Länge oder ein hohes Leseniveau oder -schwierigkeiten. Schließlich, wenn Sie sich für eine gültige, zuverlässige Bewertung geeigneter Länge entschieden haben, die Ihrem interessierenden Konstrukt entspricht, überprüfen Sie die Messung und achten Sie auf jegliche Kontamination des KonstruktsAusgaben. Ein Beispiel ist ein Arbeitsgedächtnistest (der vielleicht jemanden dazu bringt, Probleme mit mündlichen Geschichten in seinem Kopf zu lösen), der ebenfalls zeitgesteuert ist. Wenn die Person in diesem Fall dafür bestraft wird, dass sie nicht schnell genug arbeitet, erfassen Sie möglicherweise eher Defizite in der Verarbeitungsgeschwindigkeit als im Arbeitsgedächtnis. Wenn Sie den Test verwenden, um mathematische Fähigkeiten zu bewerten, erfassen Sie möglicherweise eher Arbeitsgedächtnisprobleme als eine genaue Bewertung der mathematischen Fähigkeiten. Die Person kann die mathematischen Probleme möglicherweise mit einem Papierstift korrekt lösen, wenn sie sich beim Lösen nicht an das Problem erinnern muss. Möglicherweise können Sie den Auswirkungen der Kontamination entgegenwirken, indem Sie dieselbe Fähigkeit (Mathematik) auf verschiedene Arten messen (sowohl mündlich als auch auf Papier, sowohl mit als auch ohne Zeitmessung).

Zusammenfassung zum Identifizieren und Vergleichen von Bewertungen:

1. Stellen Sie sicher, dass der Test das interessierende Konstrukt anhand der operationalisierten Definition bewertet, die Sie im Sinn haben.
2. Bewertung der Zuverlässigkeit und Validität (einschließlich Normen, Sensitivität und Spezifität)
3. Stellen Sie sicher, dass Länge, Sprache usw. für Ihre Zwecke praktikabel sind
4. Achten Sie auf eine mögliche Kontamination des Konstrukts

Verweise

Groth-Marnat, G. (2009). Handbuch der psychologischen Diagnostik. (5. Auflage). Hoboken, New Jersey: John Wiley & Sons, Inc.

Furr, RM, & Bacharach, VR (2008). Psychometrie: Eine Einführung. Thousand Oaks, CA: Sage Publications, Inc.