Ich analysiere Daten zu einer Emotionswahrnehmungsaufgabe, bei der die Teilnehmer entscheiden müssen, ob ein bestimmtes Gesicht glücklich, traurig, wütend oder ängstlich ist (im Wesentlichen eine erzwungene Wahl zwischen 4 Optionen).
Ich bin zuversichtlich, dass ich für jede Emotion eine unvoreingenommene Trefferquote berechnen möchte (wie in Wagner 1993). Dies erfordert eine Konfusionsmatrix (Spielzeugbeispiel unten):
Happy Sad Angry Fearful
Happy 4 1 0 1
Sad 0 3 2 1
Angry 0 0 6 0
Fearful 2 0 0 4
Und die unvoreingenommene Trefferquote ist dann das Quadrat der richtigen Antworten, dividiert durch die Häufigkeit, mit der diese Antwort verwendet wurde, multipliziert mit der Anzahl der Versuche, bei denen diese Antwort richtig war. Also im obigen Beispiel:
Hu(Happy) = 4^2 / ((4+0+0+2)*6) = 16/36 = 0.444
Hu(Sad) = 9/24 = 0.375
Hu(Angry) = 36/48 = 0.75
Hu(Fearful) = 16/36 = 0.444
Diese werden dann mit einer Arkussinustransformation auf die Quadratwurzel umgewandelt, um sie als abhängige Variable in der Regression zu verwenden.
Ich möchte diese Daten jedoch verwenden, um die allgemeine Fähigkeit zur Emotionserkennung in Gesichtern zu beurteilen - wie kombiniert man die unvoreingenommenen Trefferquoten richtig? Das heißt, kann ich einen einzigen Wert generieren, der all diese berücksichtigt, oder sollte ich vier separate Analysen durchführen und die Überschneidungen in den Ergebnissen untersuchen?
Bezug
Wagner, HL (1993). Zur Leistungsmessung in Kategorienurteilsstudien über nonverbales Verhalten. Journal of Nonverbal Behavior, 17(1), 3-28.
Der Zweck der unvoreingenommenen Trefferquote besteht darin, ungültige Schlussfolgerungen in Fällen zu vermeiden, in denen Probanden wahllos eine (oder nur wenige) Antwortoptionen verwenden. Um ein Beispiel zu geben (Antworten in Zeilen, Stimuli in Spalten):
Happy Sad Angry Fearful
Happy 1 0 0 1
Sad 7 8 6 5
Angry 0 0 0 0
Fearful 2 0 0 1
Betrachten Sie traurige Gesichter. Die unkorrigierte und voreingenommene Trefferquote für traurige Gesichter ist . Die unvoreingenommene Trefferquote ist . Letztere Schätzung entspricht besser unserer Intuition. Das Subjekt antwortet fast immer und sollte eine etwas bessere Punktzahl erhalten als eine zufällige Leistung ( ).
Sie suchen nach einer Gesamtpunktzahl. Per Definition berücksichtigt eine Gesamtpunktzahl diese Art von Verzerrung, da sie alle Elemente der Konfusionsmatrix verwendet. Daher macht es keinen Sinn, nach einer unvoreingenommenen Gesamttrefferquote zu suchen, und es macht keinen Sinn, zu versuchen, die unvoreingenommenen Trefferquoten zu kombinieren.
Wagner (1993) macht auf Seite 4 deutlich, dass die Frage nach einem Gesamtscore eine andere ist als die, die er mit seiner unvoreingenommenen Trefferquote zu beantworten versucht. In einer Fußnote 1 auf den Seiten 27-28 erwähnt er Methoden zur Berechnung der Gesamtpunktzahl:
Es gibt zahlreiche Möglichkeiten, die Gesamtleistung in Beurteilungsstudien zu untersuchen. In der Psychophysik wurde die Verwirrungsmatrix, die sich aus der Methode der absoluten Identifizierung ergibt (wie die hier diskutierte Art der Beurteilungsstudie bekannt ist), mit den Werkzeugen der Informationstheorie untersucht (siehe Baird & Noma, 1978, für eine klare Darlegung dessen). [...] Andere Beispiele für Genauigkeitsmaße für die gesamte Matrix sind die von Cohen (Cohen, 1960) und Rosenthal und Rubin's (Rosenthal & Rubin, 1989).
Literatur
Baird, JC, & Noma, EJ (1978). Grundlagen der Skalierung und Psychophysik. John Wiley & Söhne.
Cohen, J. (1960). Ein Übereinstimmungskoeffizient für Nominalskalen. Pädagogische und psychologische Messung, 20(1), 37-46.
Rosenthal, R. & Rubin, DB (1989). Schätzung der Effektgröße für Multiple-Choice-Daten bei einer Stichprobe: Design, Analyse und Metaanalyse. Psychological Bulletin, 106(2), 332.
Joni