Probleme mit der Verwendung von persönlichem Feedback, um die Teilnahme an einem psychologischen Online-Experiment zu motivieren?

Ethik des Feedbacks:

Der Ethikkodex der APA (2010) sowie der Bericht der Advisory Group on Conducting Research on the Internet (AGCRI) (2004) fassen ethische Fragen im Zusammenhang mit der Durchführung psychologischer Offline- und Online-Forschung zusammen. Feedback ist bei psychologischen Experimenten normal, und die Forscher werden ermutigt, die Teilnehmer vor, unmittelbar nach oder sobald es die durchgeführte Forschung vernünftigerweise zulässt, ohne das Risiko einer Auswirkung auf die Ergebnisse zu besprechen.

Forschungsanträge sollten vor der Einleitung einer Überprüfung durch das Institutional Review Board (IRB) unterzogen werden. Eine Überlegung in Bezug auf Feedback ist, wenn es von den Teilnehmern vernünftigerweise als auf einer positiv-negativ-Dimension ausgelegt werden könnte (dh das Feedback könnte als negativ angesehen werden), dann sollten Sie es vielleicht noch einmal überdenken, es zu geben, während, wenn das Feedback auf a neutrale Dimension (ein Beispiel wäre ein Persönlichkeitsmerkmal wie die Platzierung auf einer introvertierten-extrovertierten Dimension), dann ist es unwahrscheinlich, dass Bedenken bestehen.

Wirkung der Motivation:

Natürlich kann Feedback, das nach Abschluss der Aufgabe gegeben wird, die Aufgabenleistung nicht beeinträchtigen. Vermutlich kann jedoch das Versprechen oder Erwarten von Feedback am Ende einer Aufgabe eine Wirkung haben. Ohne die Art der Forschung zu kennen, sind die allgemeinen Erkenntnisse über die Wirkung von Anreizen auf Ergebnisse, dass sie, wenn überhaupt, vernachlässigbar sind. Beispielsweise stellen Mason und Watts (2009) fest, dass „Genauigkeit … nicht zuverlässig unterschiedlich für unterschiedliche Löhne ist“, und ähnlich berichtet eine Überprüfung von Online-Studien, die zu Mechanical Turk (2011) durchgeführt wurden, dass „die meisten Arbeiter nicht in erster Linie motiviert sind durch die finanzielle Rendite und kümmern sich wirklich um die Qualität ihrer Arbeit", und die Ergebnisvalidität ist ziemlich hoch, nachdem einige grundlegende Spam-Filter angewendet wurden.

Trotzdem würde ich empfehlen, die Wirkung des von Ihnen gewählten Anreizes nach Möglichkeit zu testen. Dies kann entweder durch den Vergleich der Ergebnisse von Teilnehmern ohne Anreize mit denen von Teilnehmern mit Anreizen oder durch Gültigkeitsprüfungen erfolgen – beispielsweise ist es in Umfragen üblich, mehrere Fragen mit ähnlichen Bedeutungen, aber unterschiedlichen Formulierungen aufzunehmen, um zu überprüfen, ob sie alle ähnliche Antworten erhalten zu bestätigen, dass die Antworten legitim sind, und nicht nur zu versuchen, so schnell wie möglich durch die Umfrage zu kommen.

Abschlussraten:

Die Wirkung von Anreizen auf die Aufgabenerfüllung im Allgemeinen ist sehr gemischt. Online-Studien sehen durchweg eine größere Beteiligung für höher bezahlte Experimente, aber für nicht-monetäre Anreize sind die Ergebnisse komplexer. Der Überjustifikationseffekt ist ein Beispiel dafür, dass Anreize tatsächlich die Aufgabenerfüllungsrate oder die Leistungsqualität verringern können, obwohl dieser Effekt in der Praxis nicht sehr robust ist. Houmanfar und Hayes (1998) berichten, dass „die Ergebnisse keine Auswirkungen von privatem oder öffentlichem Feedback auf die Erledigung von Aufgaben zeigten“, Conrad et al. (2010) stellen fest, dass „Feedback ihre Erfahrung verbessern kann, aber nicht unbedingt ihre Erledigungsrate“.

Der Unterschied zwischen einer einfachen Punktzahl am Ende des Experiments und typischeren Vorstellungen von Gamification kann jedoch beträchtlich sein. Gamification im Allgemeinen wirkt sich insgesamt positiv aus . Gamification umfasst typischerweise eine Vielzahl von interaktiven Funktionen, die während der gesamten Aufgabe ins Spiel kommen. Wenn es möglich ist, würde ich also empfehlen, beispielsweise eine Fortschrittsanzeige, ein Badge-System, eine Handlung oder eine andere Gamification-Funktion zu integrieren, die vernünftigerweise hinzugefügt werden kann. Beachten Sie, dass Gamification-Funktionen nicht einheitlich erfolgreich sind, sodass einige Experimente erforderlich sein können, um festzustellen, was in Ihrer speziellen Situation am besten funktioniert.

Bedingungslose Anreize:

Eine letzte Anmerkung: Sie haben nicht erwähnt, ob das Feedback vom Abschluss des Experiments abhängt. Während die Idee, Anreize nur bei Erledigung einer Aufgabe zu bieten, intuitiv vernünftig erscheinen mag, gibt es deutliche Hinweise darauf, dass nicht bedingte Anreize im Allgemeinen effektiver sind. Wenn Sie beispielsweise versprechen, nur bei Abschluss der Aufgabe eine Punktzahl zu vergeben, versuchen möglicherweise weniger Personen die Aufgabe, als wenn Sie versprechen, trotzdem eine Punktzahl zu vergeben, und selbst wenn die Abschlussquoten viel niedriger sind, können Sie insgesamt eine höhere Beteiligung erzielen. Angenommen, nur 10 Personen versuchen die Aufgabe für einen bedingten Anreiz und haben eine Abschlussquote von 50 %, dann erhalten Sie 5 Ergebnisse. Wenn andererseits 100 Personen die Aufgabe für einen nicht bedingten Anreiz versuchen und eine viel niedrigere Abschlussquote von 10 % haben, erhalten Sie 10 Ergebnisse – doppelt so viele. Überlegenswert würde ich sagen.