Welches Experiment in einer einfachen Entscheidungsaufgabe sollten wir durchführen, um eine Million Versuche zu erhalten?

Ich mag die Idee nicht, dass die Aufgabe fehlerarm sein sollte, Fehler werden für die Modellauswahl benötigt. Ich mag keine zufälligen Punktbewegungen, weil es große individuelle Unterschiede gibt, die es schwierig machen, einen gemeinsamen Kalibrierungspunkt über Menschen zu finden. Ich bevorzuge stattdessen ein Zahlenurteil, zB sind mehr als weniger als 50 % einer quadratischen Anordnung von Pixeln (normalerweise eine große Anzahl) blau oder orange? Sie können das Array groß genug machen, um eine feinkörnige Kontrolle über den Schwierigkeitsgrad zu erhalten, und zufällig auswählen, welche Pixel in jeder Farbe (oder Helligkeit) in jedem Frame vorhanden sein sollen, wenn Sie bestimmte Strategien schwer anwendbar machen möchten.

Ich mag diese Idee! Ich denke, die Aufgabe sollte eine sein, bei der die Daten von vielen Analysewerkzeugen verwendet werden könnten. Daher wären die Daten nicht nur für eine bestimmte Fragestellung von Nutzen, beispielsweise Parameterschätzungen, sondern auch für andere Werkzeuge wie die Systems Factorial Technology (siehe Townsend & Nozawa, 1995), die ein tieferes Verständnis der zugrunde liegenden kognitiven Teilprozesse ermöglicht Architektur und andere interessante Informationen wie die Kapazität des Prozesses.

Ich schlage vor, dass die Aufgabe zumindest ein doppelfaktorielles Paradigma respektiert. Dieses Design ist sehr einfach: Sie haben vier Bedingungen in einem 2 x 2-Design, bei dem Sie zwei Variablen variieren. Es könnte jede Variable sein, die einzige Einschränkung besteht darin, dass Sie sie unabhängig voneinander variieren müssen. Mit anderen Worten, jede Variable sollte einen kognitiven Teilprozess widerspiegeln. In einer Bedingung befinden sich beide Variablen in einem Szenario, in dem der Teilprozess sehr effektiv (oder optimal) arbeiten sollte. In einer anderen Bedingung befinden sich beide Variablen in einem Szenario, in dem der Teilprozess weniger effektiv (oder suboptimal) arbeiten sollte. Und in den beiden verbleibenden Bedingungen arbeitet eine Variable optimal und die andere suboptimal und umgekehrt.

Was die Details der Aufgabe betrifft, wie die verwendeten Stimuli und die spezifischen Variablen, habe ich keine Präferenzen. Buchstaben sind sehr manipulierbar, aber sie tragen Semantik (mehr oder weniger). Abstrakte Reize könnten funktionieren. Wir konnten mit Farbe, Formen, Komplexität usw. spielen. Bei Psychonomics in diesem Jahr gab es viele Experimente, die dieses Design verwendeten.

Referenz zum Zitieren: Townsend, JT & Nozawa, G. (1995). Raumzeitliche Eigenschaften der Elementarwahrnehmung und Untersuchung paralleler, serieller und koaktiver Theorien. Zeitschrift für mathematische Psychologie, 39 (4), 321–359. doi: 10.1006/jmps.1995.1033

Nur ein paar Kommentare...

Da einer der Vorteile eines großen Datensatzes eine hohe statistische Aussagekraft ist, könnte es eine gute Idee sein, eine Aufgabe zu verwenden, bei der der Schlüsseleffekt in früheren Studien nicht gefunden wurde. Das würde ein garantiertes Ergebnis erzeugen: dh einen Hochleistungstest eines wichtigen Nullergebnisses.

Eine Pop-out-Bedingung in der visuellen Suche wäre ein Beispiel (dh kein Effekt der Anzeigegröße), aber dies ist nicht ideal, weil es das Modellierungsende des Projekts einschränken würde. Das heißt, es wäre nicht sehr hilfreich, mehrere Bedingungen mit identischer Leistung (oder fast identisch) zu modellieren.

Ein besseres Beispiel wäre ein Experiment mit additiven Faktoren (etwa wie von Marc-André Goulet vorgeschlagen). Ich würde ein einfaches 2x2-Design vorschlagen, für das frühere Studien eine theoretisch wichtige Additivität von Faktoren (dh nicht signifikante Wechselwirkung) berichtet hatten. Eine große Studie würde einen Hochleistungstest der Null-Wechselwirkung liefern. Und solange beide Haupteffekte vorhanden waren, wären vier verschiedene Bedingungen zu modellieren. Dieses Design ist auch deshalb interessant, weil viel über Bedingungen bekannt ist, die von den RT-Verteilungen unter bestimmten Modellen erfüllt werden sollten (für Beispiele siehe die Referenzen unten).

Ein letzter Punkt: Nach der Auswahl einer Aufgabe kann es sehr sinnvoll sein, die geplanten Analysen an simulierten Daten zu testen, die wesentlich einfacher zu bekommen sind als echte Daten. Dies würde dazu beitragen, die genauen Ziele des Projekts deutlicher zu machen und auch sicherzustellen, dass die Ziele mit dem vorgeschlagenen Datensatz erreichbar wären. Es könnte auch hilfreich sein, aufzuzeigen, welche Aspekte der geplanten Aufgabe/Bedingungen notwendig waren, um aussagekräftige Ergebnisse zu erhalten (z. B. minimale Effektstärken).

Verweise

Cortese, JM & Dzhafarov, EN Empirische Wiederherstellung der Response Time Decomposition Rules II. Unterscheidbarkeit serieller und paralleler Architekturen. Journal of Mathematical Psychology, 1996, 40, 203–218

Dzhafarov, EN & Cortese, JM Empirische Wiederherstellung der Response-Time-Decomposition-Regeln I. Sample-Level-Decomposition-Tests. Journal of Mathematical Psychology, 1996, 40, 185-202

Dzhafarov, EN & Schweickert, R. Zerlegungen von Reaktionszeiten: Eine fast allgemeine Theorie. Journal of Mathematical Psychology, 1995, 39, 285-314

Roberts, S. & Sternberg, S. Die Bedeutung additiver Reaktionszeiteffekte: Tests von drei Alternativen. In Meyer, DE & Kornblum, S. (Hrsg.) Aufmerksamkeit und Leistung XIV. Synergien in experimenteller Psychologie, künstlicher Intelligenz und kognitiver Neurowissenschaft., MIT Press, 1992, 611-653

Ich stimme Marc-André zu, die ausgewählten Stimuli sollten keine (oder möglichst wenig) semantische Assoziation haben, weshalb ich die Verwendung von geometrischen Formen anregen würde, die farblich variieren. Außerdem glaube ich, dass die Aufgabe so einfach wie möglich sein sollte, um die allgemeine Sauberkeit der Daten zu fördern.

Wie Sie vorgeschlagen haben, ist eine solche Aufgabe die Aufgabe zur Erkennung redundanter Attributziele (Miller, 1982). Bei dieser Aufgabe werden die Teilnehmer gebeten, Zielmaße (z. B. blau und quadratisch) im Auge zu behalten, und sobald eine der Maße auf dem Bildschirm angezeigt wird, reagieren die Teilnehmer so schnell und so genau wie möglich. Die Ergebnisse sind in der Regel schnell, genau und leicht verzerrt – passend für diese Initiative! Wir könnten ein paar Farben und Formen auswählen (wenn wir mit dieser Aufgabe fortfahren) sowie welche Farbharmonie ausgewählt werden sollte.

Darüber hinaus können uns Farben, die in ihrer „Offensichtlichkeit“ variieren, möglicherweise ein klareres Verständnis der Parameter in bestimmten Modellen vermitteln. Beispielsweise sollte ein offensichtliches Blau eine schnellere RT haben als ein gedämpftes Blau, und der Ratenparameter jedes einzelnen Kanals sollte dies widerspiegeln (vorausgesetzt natürlich, dass der Ratenparameter überhaupt mit „Offensichtlichkeit“ verbunden ist). Dieser Aspekt interessiert mich besonders.

Während ein Ja/Nein für diese Aufgabe großartig wäre, bin ich auch fest davon überzeugt, dass eine 2AFC-Aufgabe viel interessantere Ergebnisse liefern würde und die 1-Million-RT-Initiative uns helfen könnte, das „Rennen“ in „Rennmodellen“ wirklich zu verstehen. Dies könnte so einfach sein wie das Ändern der Aufgabe als eine mit Entscheidungen „Ziel vorhanden“ oder „Ziel abwesend“. Mit klareren Trends in RT könnten wir hoffentlich Informationen über die Unabhängigkeit von Dimensionen sammeln und ob es ein Übersprechen zwischen Detektoren gibt.

Darüber hinaus würde das Vorhandensein solcher Daten nicht nur der Modellanpassung zugute kommen, sondern auch solideren Architekturanalysen. Dies würde uns wiederum helfen, ein konkreteres Verständnis von koaktiven Architekturen zu bekommen (die Architektur, die Miller, 1982 vorschlug, spielte bei dieser Art von Aufgabe eine Rolle), die nicht so streng definiert wurden wie andere Architekturen (wie von Houpt & Townsende, 2011).

BEARBEITEN:

Houpt, JW, & Townsend, JT (2011). Eine Erweiterung der SIC-Vorhersagen auf das Wiener Coactive-Modell. Zeitschrift für Mathematische Psychologie, 55, 267-270

Miller J. (1982). Geteilte Aufmerksamkeit: Hinweise auf Koaktivierung mit redundanten Signalen. Kognitive Psychologie, 14,247–279

Ich selbst interessiere mich für einen solchen Datensatz zur Same-Different-Aufgabe (Bamber, 1969). Die Antwort ist binär (gleich oder unterschiedlich), die Genauigkeit ist sehr hoch und es gibt einen Lerneffekt (zumindest kurzfristig). In Bezug auf die Anzahl der Bedingungen könnten wir die ursprüngliche Aufgabe vereinfachen, um von 14 Bedingungen auf 8 zu gehen, indem wir entweder:

• Begrenzung der Buchstabenanzahl auf 4 (statt 1, 2, 3 und 4)
• Verwenden von 1-, 2- oder 4-Buchstaben-Stimuli und 1 oder 2 Nichtübereinstimmungen für die 2-Buchstaben-Stimuli und 2 oder 4 Nichtübereinstimmungen für die 4-Buchstaben-Stimuli

Die zweite Option kommt dem Original am nächsten. Die erste wäre jedoch sehr aufschlussreich für die 4-Buchstaben-Bedingung, da aufgrund des Versuchsdesigns nur wenige Daten dazu vorliegen.

Da viele Personen (hauptsächlich Männer) Anomalien der Farbwahrnehmung haben, sollten Sie Farben vermeiden; Sie möchten auch eine einfache Aufgabe mit „einfachen“ Reizen, um kurze Versuchsdauern zu ermöglichen. Visuelle Suchparadigmen sind dafür gut. Ich wiederhole die Forderung nach einem Projekt, bei dem das experimentelle Design etwas von besonderem Interesse ansprechen würde, und idealerweise wäre das mit einem „Standard“-Design (z. B. mit 10.000 Datenpunkten statt 1.000.000) schwer zu bewältigen. Das Abschätzen der Verteilung von Verarbeitungszeiten für einen Prozess, der aus indirekten Messungen abgeleitet wird, kann ein interessanter Problembereich sein.

PJ

Ich stimme für eine einfache zufällige Punktbewegungsaufgabe. Dies hat folgende Vorteile: 1. Es ist einfach zu programmieren. Es kann per Javascript über das Internet bereitgestellt werden, was den Aspekt „viele Labore“ vereinfacht. 2. Es ist sehr gut studiert und gut verstanden. 3. Es ist einfach, 5-artige Kohärenzpegel einzustellen, die fast den gesamten Genauigkeitsbereich abdecken, vom Zufallspegel bis zu 100 %. Dies ist wichtig für die Unterscheidung zwischen den Modellen.

Darf ich fragen, haben Sie darüber nachgedacht, vorhandene große Datensätze zu verwenden, wie sie beispielsweise von Project Implicit bereitgestellt werden ? Datensatz .

(leider scheint Project Implicit keine einzelnen Datenpunkte gespeichert zu haben, sondern einen berechneten „Effekt“ pro Teilnehmer).

Darf ich vorschlagen, Daten online zu sammeln?

Mit den neuesten Browsertechnologien sind RTs extrem genau, in der Größenordnung von 5 Mikrosekunden ( Diskussion ). Selbst mit etwas älterer Browser-Technologie können gesammelte RTs genau sein ( Ref ).

Es gibt mehrere Websites, auf denen Menschen freiwillig recherchieren ( Diskussion ).

Das Sammeln von Daten über mehrere Standorte hinweg ist sicherlich einfacher, wenn pro Standort Einrichtungszeit vorhanden ist.

Erlauben Sie mir bitte, Ihr Setup zu hinterfragen:

Ihre Behauptung, dass Sie eine Million Datenpunkte benötigen, um zwischen Modellen zu unterscheiden, wirft die Frage auf, ob Sie immer noch gültige Wissenschaft betreiben, denke ich. Sind Sie sicher, dass die Unterschiede zwischen den Modellen wissenschaftlich interessant genug sind, um ein Monsterprojekt zu rechtfertigen, um zu versuchen, zwischen ihnen zu unterscheiden? Vor allem, wenn dies alles auf einer einzigen Aufgabe basiert. Ich bin sicher, Ihre Suche wird zu einem "Siegermodell" führen. Aber ich bin mir nicht sicher, ob daraus eine verallgemeinerbare wissenschaftliche Erkenntnis resultieren wird.

Eine Million Versuche ist nicht wirklich viel. Es gibt viele Aufgaben, bei denen Sie 1000 Versuche pro Stunde sammeln können. Mit einem zehnköpfigen Fachgremium, in dem jede Person 2 Stunden am Tag (10 Stunden pro Woche) arbeitet, könnten Sie in 10 Wochen eine Million Versuche sammeln. Angenommen, Sie zahlen 15 USD pro Stunde, können Sie alle Daten für 15.000 USD sammeln, was ein kleiner Zuschuss ist. Um ein Gremium mit zehn Personen zu leiten, benötigen Sie idealerweise 3 Teststationen und einen RA, um die Dinge zu regeln.