Kontext: Beim Lesen von psychologischen Forschungsartikeln stoßen Sie häufig auf neue psychologische Selbsteinschätzungstests ohne Eignung (z. B. Persönlichkeitsmessungen, Wohlbefinden, Psychopathologie, Lernstil, Stress, Zielorientierung usw.). Bei den meisten dieser Tests geht es darum, die Summe oder den Mittelwert einer Reihe von Items für eine oder mehrere Skalen oder Subskalen zu erhalten. Jedes Item beinhaltet typischerweise Itemtext und einen konsistenten Satz von Antwortoptionen (z. B. Likert-Antwortskalen, Ja-Nein-Antwortskalen usw.). Es gibt Tausende solcher Skalen, von denen einige häufig verwendet werden; andere werden nur einmal verwendet.
Es wurde viel darüber geschrieben, wie man die Testvalidität bewertet . Hier wollte ich mich jedoch besonders darauf konzentrieren, wie man einschätzt, was eine bestimmte Einzel- oder Gruppenpunktzahl bedeutet. Konkret denke ich an die Situation, in der Sie einen Zeitschriftenartikel lesen und auf eine Skala stoßen, die Sie noch nie zuvor gesehen haben, wie zum Beispiel:
Für gut ausgearbeitete Tests gibt es ein Testhandbuch. In anderen Fällen gibt es eine Website oder einen wichtigen Zeitschriftenartikel mit Informationen. Schließlich sind in einigen Fällen nur sehr wenige Informationen ohne Weiteres verfügbar. In manchen Fällen werden im Methodenabschnitt nützliche Informationen gegeben, aber in der Regel ist dies allein nicht ausreichend. Somit beginnt der Prozess des Versuchs, Informationen wie Artikelinhalte und normative Vergleiche zu finden.
Über die Interpretation normativer und kriteriumsbezogener Tests ist viel gesagt worden . Wenn Sie einen Test in der klinischen Praxis verwenden oder einen Test in Ihrer eigenen Forschung verwenden, sollten Sie Zeit investieren, um zu verstehen, was unterschiedliche Testergebnisse tatsächlich bedeuten. Wenn Sie jedoch beiläufig einen Zeitschriftenartikel lesen, können Sie auf viele Tests stoßen. In solchen Fällen ist der Artikel einer von vielen, und Sie möchten vielleicht nur einen schnellen Eindruck davon bekommen, was eine bestimmte Punktzahl bedeutet.
Beachten Sie die Verwendung des Begriffs „Nichteignung“. Ich möchte die Diskussion über Intelligenztests, Fähigkeitstests und Wissenstests und so weiter ausschließen.
Update: Zur Verdeutlichung wollte ich in der Frage nicht andeuten, dass Artikelinformationen nirgendwo verfügbar sind. Ich denke, die Frage bezieht sich auf die allgemeine Situation, in der es wahrscheinlich frühere Verwendungen der Maßnahme in der Literatur gibt und es möglicherweise einen Schlüsselartikel gibt, der die Maßnahme irgendwo beschreibt. Ich denke, ich denke an eine gute allgemeine Strategie, um relevante Informationen zu sichern und sie dann zu verwenden, um ein Verständnis der Skaleneigenschaften zu entwickeln.
Schwierige Frage.
Ich gehe davon aus, dass sich die Frage auf Maßnahmen bezieht, denen alle von Ihnen skizzierten Informationen fehlen: Testhandbuch, Validitätsstudien, Website und Schlüsselartikel, Artikelinhalt und normative Vergleiche. Wenn diese Annahmen zutreffen, dann ist das, was Sie beschreiben, eine unzureichend erklärte Maßnahme. Ich werde argumentieren, dass wir notwendigerweise nicht wissen können, was eine solche Skala in irgendeinem wissenschaftlichen Sinne bedeutet.
Eine Skala ist ein Maß. Eine wissenschaftliche Maßnahme ist ein Prozess, der Beweise generiert, dh Beobachtungen, die zwischen verschiedenen möglichen Antworten auf eine bestimmte Frage unterscheiden. (Daten können Beweise in Bezug auf eine Frage darstellen und nicht auf eine andere.) Das Ergebnis dieser Unterscheidung oder Analyse ist das, was die Skala „bedeutet“, dh die logisch fundierte Interpretation, die wir auf der Grundlage der Analyse der Beweise vornehmen können.
Um festzustellen, ob eine Methode tatsächlich Beweise liefert, müssen wir in der Lage sein, sie unabhängig zu replizieren. Aber die Prämissen implizieren, dass wir dafür nicht genügend Informationen haben. Da wir nicht unabhängig überprüfen können, zwischen welchen Hypothesen die von der Methode generierten Beweise gegebenenfalls unterscheiden, gibt es keine Möglichkeit zu wissen, was dies bedeutet.
Christian Hummeluhr
Josh de Leeuw
Jerome Anglim
Christian Hummeluhr
Jerome Anglim