Wird die Lernmenge durch Belohnungssender moduliert?

Das menschliche Gehirn ist ein Signalverarbeitungssystem. Eingangsströme enthalten gemischte sensorische, motorische, Belohnungs- und möglicherweise weitere Signale. Ich frage mich, ob Neurotransmitter, die mit Belohnung verbunden sind, das Auswendiglernen dieser Ströme erhöhen oder verringern. Das würde zu einer Tendenz führen, Streams, die gleichzeitig mit hoher Belohnung auftreten, gegenüber solchen zu speichern, die gleichzeitig mit geringer Belohnung auftreten. Attraktoren würden sich also mit besseren Streams zufrieden geben und wir würden Aktionen durchführen, die die Belohnung optimieren.

Fragen Sie also nach Modellen, die mit Belohnung verbundene Neurotransmitter (wie Dopamin) verwenden, um das Lernen voranzutreiben?
@ Seanny123 Das wäre auch interessant. Meine Frage ist, ob es biologische Beweise für schnelleres Lernen oder erhöhte Plastizität zB unter Dopamin-Emission gibt.

Antworten (2)

Die Wirkung der Dopamin-Signalgebung ist einer der Bereiche, in denen die Computational Neuroscience Einblicke in die Gehirnmechanismen gewährt hat, insbesondere über Reinforcement Learning (RL)-Modelle.

Basierend auf diesem Artikel und der Doktorarbeit von Dan Rasmussen begann dies zunächst mit dieser Veröffentlichung von Schultz , die zeigte, dass Dopamin als Belohnungssignalgeber wirkt. Aus der Zusammenfassung:

Dopamin-Neuronen werden durch die Belohnung von Ereignissen aktiviert, die besser als vorhergesagt sind, bleiben unbeeinflusst von Ereignissen, die so gut wie vorhergesagt sind, und werden von Ereignissen deprimiert, die schlechter als vorhergesagt sind. Durch das Signalisieren von Belohnungen gemäß einem Vorhersagefehler haben Dopamin-Antworten die formalen Eigenschaften eines Lehrsignals, das von Theorien des bestärkenden Lernens postuliert wird.

Um Ihre Frage direkt zu beantworten, scheint es, dass die Geschwindigkeit / Plastizität des Lernens durch Dopamin-Neuronen moduliert wird.

Aber siehe auch Friston et al., 2012 für eine allgemeinere Theorie der Dopaminfunktion
Danke für deine Antwort und sorry für die späte Antwort. Schließen Sie Ihren letzten Satz aus obigem Zitat? Ich verstehe, dass Dopamin mit Belohnung verbunden ist. Aber das hängt nicht direkt damit zusammen, ob ein hoher Dopaminspiegel viel Lernen bedeutet und ein niedriger Dopaminspiegel (oder negative Belohnung) weniger Lernen bedeutet, oder?
@danijar du hast recht. Ich bin in meiner Einführung versehentlich um eine Ebene gesprungen. Ich werde versuchen, das zu beheben.

Ein bisschen Kontext

In Säugetiergehirnen ist Dopamin ein wichtiger Neurotransmitter, der mit der Belohnung verbunden ist. Dieses Molekül wird in der Ventral Tegmental Area (VTA) und in der Substantia Nigra (SN) produziert.

In einer sehr berühmten Studie zeichnete Schultz Neuronen in diesen beiden Regionen auf (zu der Zeit machten wir keinen wirklichen Unterschied zwischen ihnen) und erkannte, dass die Aktivität dieser Neuronen mit Belohnung verbunden war. Genauer gesagt kodierten Neuronen für Reward Prediction Error, eine Funktion, die in Reinforcement-Learning-Modellen implementiert ist.

Kürzlich haben sich einige Forscher entschieden, Ihre Frage zu beantworten. Dazu verwendeten sie die Optogenetik , eine Technik, mit der Sie die Aktivität von Neuronen mit Licht modulieren können.

Sie können das Papier hier lesen: McNamara et al. Nat. Neurosci. (2014)

Was sind die wichtigsten Ergebnisse?

Mäuse mit erhöhter Aktivität von Dopamin-Neuronen zeigten eine bessere Leistung bei einer räumlichen Aufgabe. Sie waren besser darin, ein neues Labyrinth zu lernen. Darüber hinaus induzierte die erhöhte Aktivität der VTA-Neuronen eine höhere Anzahl spezifischer Schwingungen (sogenannte Sharp Wave Ripples) im Hippocampus, einer Struktur, die für das räumliche Lernen wichtig ist. Wir haben starke Beweise dafür, dass diese Oszillationen wichtig für das Gedächtnis sind, da ihre Störung das Gedächtnis beeinträchtigt (siehe Jadhav et al. Science (2012) und Girardeau et al. Nat. Neurosci. (2009) , wenn Sie sich für das Thema interessieren) .

Beachten Sie, dass diese Studie an Mäusen durchgeführt wurde. Es handelt sich wahrscheinlich um Papiere, die eine Verbindung zwischen der Aktivität des VTA und dem Lernen mit FMRi am Menschen herstellen, aber ich kenne die Literatur nicht genug.

Danke vielmals! Wissen Sie zufällig, ob es Studien darüber gibt, ob Domapin die Plastizität auf Synapsenebene erhöht? Dh wächst/verstärkt sich eine Synapse eher unter einer höheren Dopaminkonzentration?
@danijar Gern geschehen! Es gibt tatsächlich Hinweise darauf, dass Dopamin die Stärke von Synapsen verändert. Genauer gesagt, Dopamin modifiziert die Langzeitpotenzierung, einen der Hauptmechanismen, von denen bekannt ist, dass sie die Stärke von Synapsen modifizieren (Ein Beispiel, das ich gerade gefunden habe: S. Li et al. Nat. Neurosci. (2003) . Es ist eine wirklich gute Frage und ich werde es tun Bearbeiten Sie meine Antwort, wenn ich Zeit habe.