In einer Pilotstudie wollen wir den Teilnehmern 3 verschiedene Probleme geben. Diese gibt es in zwei Versionen, eine (angeblich) einfacher als die andere. Den Teilnehmern wird nach dem Zufallsprinzip eine Version der Probleme zugewiesen. Das Ziel besteht darin, die Leistung bei jeder Version jedes Problems zu vergleichen. Problematisch könnte jedoch sein, dass, wenn eine Variante tatsächlich einfacher ist, einige Teilnehmer dreimal die einfache Variante und andere dreimal die schwere Variante erhalten, was ihre Motivation beeinträchtigen könnte. Die Teilnehmer mit den schwierigen Problemen werden möglicherweise erschöpfter und demotivierter und versuchen möglicherweise nicht mehr so viel an jedem folgenden Problem.
Eine Lösung wäre, die Aufgabe für jedes Problem unabhängig voneinander zu randomisieren, sodass die Teilnehmer möglicherweise zweimal die einfache Version und einmal die schwierigere Version oder eine beliebige andere Kombination erhalten.
Wäre das aus methodischer Sicht empfehlenswert? Könnten die Beobachtungen beim Vergleich der beiden Zustände noch als unabhängig betrachtet werden? Oder gibt es eine andere Möglichkeit, dieses Problem zu umgehen?
Es hängt davon ab, was Sie untersuchen möchten.
Interessiert es Sie, was passiert, wenn eine Person zwei schwierige Fragen bekommt, im Vergleich zu jemandem, der zwei leichte Fragen bekommt? Wenn ja, notieren Sie es zur Analyse. Wenn nicht, kontrollieren Sie dies, indem Sie sicherstellen, dass jeder Teilnehmer die gleiche Anzahl einfacher und schwieriger Aufgaben erhält.
Interessieren Sie sich für Ordnungseffekte? Wenn ja, zeichnen Sie diese Daten zur Analyse auf. Wenn nicht, kontrollieren Sie dies, indem Sie sicherstellen, dass jeder Teilnehmer eine Reihe von Fragen in derselben Reihenfolge erhält. Standardisieren Sie zB auf LEICHT-SCHWER-EINFACH und weisen Sie zufällig Probleme jeder Klassifikation zu.