Ich arbeite mit einem Datensatz, in dem die Teilnehmer fünf verschiedene Attribute von sechs Gerätevarianten bewerten; Die Attributbewertungen verschiedener Varianten sind sehr eng korreliert, was darauf hindeutet, dass dieser Datensatz ein Problem mit Halo-Fehlern hat – die Teilnehmer bilden sich einen Gesamteindruck von der Qualität des Geräts und beantworten dann jedes Attribut, anstatt das Gerät für jedes Attribut neu zu bewerten ihre Gesamtbewertung des Geräts.
Welche Strategien werden verwendet, um diesen Effekt zu bekämpfen, entweder vor der Ausführung im Design der Studie oder nach der Ausführung in der Analyse? Zitate für Belege für besonders erwünschte Strategien.
Murphy & Cleveland (1995) erwähnen, dass ein guter Weg, Bewerterfehler im Allgemeinen zu reduzieren, darin besteht, Bewerter über die Existenz und Art dieser Fehler zu informieren und dann einfach zu drängen, sie zu vermeiden. Dies reduziert zwar Bewerterfehler, verringert jedoch auch die Genauigkeit der Bewertungen. Diese Ergebnisse stammen aus der Literatur zur Leistungsbewertung, wo Halo normalerweise als das Gegenteil von Genauigkeit angesehen wird. Die unerwartete Assoziation wurde als Halo-Genauigkeitsparadoxon bezeichnet .
Einige Autoren haben vorgeschlagen, dass der paradoxe Effekt auf unterschiedliche operative Definitionen von Halo zurückzuführen ist (Fisicaro, 1988). Anscheinend gibt es Hinweise darauf, dass der paradoxe Effekt verschwindet, wenn dieses Problem behoben wird.
Eine interessante Erklärung stammt von Latham (Woehr & Huffut, 1994). Für ihn liegt es an der Art und Weise, wie Bewerter über Halo informiert werden. Wenn den Bewertern gesagt wird, dass Halo eine globale Tendenz über verschiedene Ratings hinweg ist und dass es eine schlechte Sache ist, dann werden die Bewerter genau das vermeiden. Genauer werden die Bewertungen dadurch aber nicht. Bei der Schulung von Bewertern muss man also darauf achten, diese Art von if-Effekt nicht zu erzeugen.
Im Gegensatz dazu findet eine Metaanalyse von Woehr & Huffcut (1994), die die Wirksamkeit verschiedener Arten von Ratertrainings untersucht, den paradoxen Effekt nicht. Stattdessen verringern Bewerterschulungen den Halo moderat und erhöhen die Genauigkeit. Die Autoren fanden auch Unterstützung für Lathams Hypothese. Die durchschnittliche Effektgröße war größer als in den anderen Fällen, wenn das Rater-Training seiner Ansicht entsprach.
Dennoch sind Murphy und Cleveland (1995) in ihrem Vorschlag ziemlich radikal. Für sie gibt es ernsthafte Probleme mit allen operativen Definitionen von Halo (und Bewertungsfehlern im Allgemeinen). Daher sollte auf Messungen von Raterfehlern ganz verzichtet werden. Daher macht es aus ihrer Sicht keinen Sinn, von einem Paradoxon zu sprechen.
Referenzen:
Fisicaro, SA (1988). Eine erneute Untersuchung der Beziehung zwischen Halo-Fehler und Genauigkeit. Zeitschrift für Angewandte Psychologie. 73(2), 239.
Murphy, KR & Cleveland, JN (1995). Leistungsbeurteilung verstehen: Soziale, organisatorische und zielbasierte Perspektiven. Tausend Eichen: Salbei.
Wöhr, DJ, & Huffcutt, AI (1994). Bewerterschulung zur Leistungsbeurteilung: Eine quantitative Überprüfung. Zeitschrift für Arbeits- und Organisationspsychologie , 67(3), 189-205.
Erich
Krista