Wie misst man Präzision im Rahmen der klassischen Testtheorie?

Welche Methoden oder Ansätze existieren oder könnten entwickelt werden, um die Messgenauigkeit in einem Rahmen der klassischen Testtheorie zu messen? Standards for Educational and Psychological Testing (American Psychological Association, 2014) sprechen an mehreren Stellen von Messgenauigkeit, scheinen aber keine Referenzen zu liefern.

Inwieweit ist die Genauigkeit der Messung in der IRT-Theorie ähnlich oder verschieden von der absoluten Übereinstimmung in der Punktzahl (im Gegensatz zur Interrater-Zuverlässigkeit oder Testzuverlässigkeit, gemessen durch Alpha) in CTT?

Antworten (1)

'Präzision' in der klassischen Testtheorie

Die meisten Darstellungen der klassischen Testtheorie haben keinen Begriff von Präzision als solcher, aber gelegentlich kann stattdessen Zuverlässigkeit als Präzision bezeichnet werden. Am prägnantesten lässt sich der Zusammenhang wohl bei den Standard-Dartscheiben veranschaulichen. Dies wird auch auf der Wikipedia -Seite zur Item-Response-Theorie erklärt , aber wie Sie sehen können, steht in CTT Präzision für Zuverlässigkeit, was Genauigkeit für Gültigkeit bedeutet.

Geben Sie hier die Bildbeschreibung ein Büschel U

( Wikipedia-Artikel zur Zuverlässigkeit neben einem Leitfaden der Tufts University .

Ursprung von „Präzision“ in der klassischen Testtheorie

Cronbach (1951) schlug Coombs (1950) als Ursprung der Zuverlässigkeits-/Präzisionsverwirrung vor.

Coombs (6) bietet den etwas treffenderen Namen "Präzisionskoeffizient" für diesen Index an, der den absolut minimalen Fehler angibt, der gefunden wird, wenn dasselbe Instrument zweimal unabhängig voneinander auf denselben Gegenstand angewendet wird. Ein Stabilitätskoeffizient kann erhalten werden, indem die beiden Beobachtungen mit einem beliebigen gewünschten Intervall dazwischen durchgeführt werden. Eine strenge Definition des Genauigkeitskoeffizienten ist daher, dass er die Grenze des Stabilitätskoeffizienten ist, da die Zeit zwischen den Tests unendlich klein wird.

Ich bin mir nicht ganz sicher, ob ich die sekundäre Frage richtig interpretiere, aber die IRT-Präzision ist ein Maß für die Präzision unter IRT und ICC ist ein Maß für die Zuverlässigkeit unter CTT. Der Hauptunterschied besteht darin, dass CTT die Zuverlässigkeit als einen einzelnen Wert ausdrückt, während IRT die Genauigkeit für verschiedene Werte des zugrunde liegenden Merkmals ausdrückt. Dies ist jedoch nicht spezifisch für absolute Übereinstimmung, also verstehe ich vielleicht falsch.

Verweise

Ich verstehe Ihr Vokabular nicht: "Genauigkeit ist Gültigkeit." Sind Genauigkeit und Validität Synonyme? Sind Zuverlässigkeit und Präzision unter CTT Synonyme?
Es ist eher eine Parallele. Kurz gesagt, es gibt keine "Präzision" in CTT, nur "Zuverlässigkeit".
Wie misst man Präzision im Rahmen der klassischen Testtheorie?
AntwortenHierDatenschutz-Bestimmungen1y, 0v