Ist das Kurzzeitgedächtnis theoretisch mit Spiking-Neuronen möglich?

Also schließe ich meine Augen, drehe mich um, öffne sie für einen kurzen Blinzeln und schließe sie wieder. Ich habe einen Stuhl beobachtet. Ich kann Ihnen nicht sagen, wie der Stuhl im Detail aussieht, aber ich kann ungefähr seine Form und Farbe sagen. Außerdem kann ich mich, wenn ich nicht gestört werde, mindestens eine Minute lang an diese Form und Farbe erinnern.

Was wäre, wenn ich ein Gerät konstruieren wollte, das diesen Vorgang wiederholen könnte? Mit digitaler Hardware ist es nicht allzu schwierig – nehmen Sie eine Digitalkamera und ein Solid-State-Speichergerät. Für jedes Bit an Informationen auf meinem Solid-State-Laufwerk kann ich die Operation "Speichern" aufrufen, und mein Bit wird gespeichert, oder "Löschen", und es wird gelöscht. Ich weiß nicht, wie zuverlässig jedes physische Bit mit der aktuellen Technologie funktioniert, aber bei einer ausreichenden Anzahl physischer Bits pro logischem Bit kann ich theoretisch ein Gerät herstellen, das mein Bild so lange speichert, wie ich möchte.

Wie wäre es mit dem Aufbau eines neuronalen Netzwerks mit Spikes, um dasselbe zu tun? Ich habe einige naive Ansätze ausprobiert und bin auf ein grundlegendes Problem gestoßen: Spiking neuronale Netzwerke scheinen auf der schnellen Zeitskala fast keine Trägheit zu haben. Ein Neuron feuert nur bei ausreichender Eingabe. Wenn die Eingabe weg ist, wird es nicht mehr ausgelöst (abgesehen von einigen Aktivitäten im Ruhezustand). Ich kann ein Netzwerk mit rekurrent verbundenen Neuronen konstruieren, in welchem ​​Fall sich die Aktivität des Netzwerks im Prinzip selbst aufrechterhalten könnte, nachdem die Eingabe weg ist. Allerdings beobachte ich abhängig von den Parametern des Netzwerks einen schnellen Wechsel zwischen zwei sehr extremen Verhaltensweisen. In einem Fall ist die Rückkopplungsstärke des Netzwerks zu schwach und die Aktivität sinkt, sobald der Input weg ist. Bei der anderen ist das Rückkopplungsgewicht zu stark, und die Aktivität des Netzwerks erreicht schnell einen maximalen Feuerzustand, unabhängig davon, welche genaue Eingabe das Netzwerk erhalten hat. Diese Übergänge erfolgen exponentiell schnell. Theoretisch gibt es in neuronalen Netzwerken adaptive Kontrollmechanismen wie Inhibition und synaptische Plastizität. Ich habe jedoch Schwierigkeiten zu verstehen, wie solche Mechanismen jemals schnell genug sein können, um den plötzlichen Anstieg oder Abfall der Eingabe zu kompensieren.

TL;DR : Naive neuronale Netzwerke scheinen nicht stabil genug zu sein, um ein robustes Kurzzeitgedächtnis zu implementieren. Welche bekannten Mechanismen machen es dennoch möglich?

Hinweis: Ich frage nicht, wie genau das Kurzzeitgedächtnis funktioniert. Ich bin mir bewusst, dass niemand wirklich weiß. Ich bitte um Intuition, um mein Argument zu widerlegen, dass es nicht funktionieren sollte, wenn es mit Neuronen implementiert wird.

Antworten (1)

Während wir nicht genau wissen, wie alle Aspekte des Arbeitsgedächtnisses funktionieren, zeigen Experimente, dass eine Untergruppe von Zellen im Gehirn während Arbeitsgedächtnisaufgaben eine anhaltende Aktivität zeigt.

Hier ist ein Beispiel aus einer Rezension von Curtis & D'Esposito :

Geben Sie hier die Bildbeschreibung ein

Dies ist eine Aufgabe in Panel (a), wo ein Hinweis kurz präsentiert wird (markiert mit „C“), und dann muss sich der Affe an den Hinweis erinnern (während der mit „D“ markierten Zeit) und schließlich zum Zeitpunkt R the Ziele erscheinen und der Affe kann eine Antwort geben.

Wir sehen in Spiking-Aufnahmen von Affen, dass es Zellen im dorsolateralen präfrontalen Kortex gibt, die nicht nur durch den Hinweis und während der Reaktion aktiviert werden, sondern auch während der Verzögerungszeit anhaltende Aktivität aufweisen. In Studien am Menschen können wir normalerweise keine Elektroden platzieren, aber Teil (b) zeigt eine ähnliche Studie mit fMRT, und die farbigen Bereiche im Gehirn zeigen Gehirnbereiche an, die während der Verzögerungszeit einen stärkeren Blutfluss (Markierung des Stoffwechsels) zeigten, einschließlich Bereiche von dieselbe Gehirnregion wie die Affenexperimente.

Die Erklärungen sind rekurrente Netzwerkaktivität und Bistabilität : Eine erregte Zellpopulation kann sich weiterhin gegenseitig erregen und aktiv bleiben, bis sie gestoppt wird (siehe zum Beispiel Attraktornetzwerke für eine konzeptionelle Idee), sowie Bistabilität in einzelnen Neuronen, wo ein Neuron dies tut Schwelle erreicht, feuert weiterhin tonisch, anstatt ein einzelnes Aktionspotential zu feuern, bis das Feuern durch Hemmung beendet wird. Campi und Wang 1998 ist ein ausgezeichneter, klarer Überblick über diese Konzepte mit einem einfachen mathematischen Ansatz, wie Sie dies in silico modellieren können . Es ist wahrscheinlich effizienter, von hier aus zu beginnen, als es selbst neu zu erfinden.

Ich empfehle auch andere Artikel von XJ Wang, der auf diesem Gebiet umfangreiche Arbeit geleistet hat. Ich empfehle Ihnen auch, sich Phasenraumdiagramme anzusehen , die helfen können, dynamische Systeme mit stabilen Eigenschaften zu konzipieren (und welche Netzwerkparameter für die Stabilität notwendig sind), sie kommen in der theoretischen Neurowissenschaft häufig vor. Theoretical Neuroscience von Dayan und Abbott ist auch ein guter Ausgangspunkt, wenn Sie eine Kopie finden können.

Campi, M. & Wang, XJ (1998). Ein Modell des visuell-räumlichen Arbeitsgedächtnisses im präfrontalen Kortex: rekurrentes Netzwerk und zelluläre Bistabilität. Journal of Computational Neuroscience, 5(4), 383-405.

Curtis, CE, & D'Esposito, M. (2003). Anhaltende Aktivität im präfrontalen Kortex während des Arbeitsgedächtnisses. Trends in Cognitive Sciences, 7(9), 415-423.

Vielen Dank für Ihre Antwort! Bistabilität war mir nicht bewusst. Ich habe mir zuvor mehrere Modelle des Arbeitsgedächtnisses angesehen, aber ich habe niemanden gesehen, der es verwendet. Es ist nicht dasselbe wie platzen, oder? Ich werde die von Ihnen empfohlene Literatur von Wang lesen und mich bei Ihnen melden. Eine kleine Frage, wenn ich darf. Die anhaltende Aktivität bei Esposito et al. – ist sie in jedem Versuch einzeln oder im Versuchsdurchschnittsbild anhaltend? Ich habe gehört, dass es eine große Kontroverse zwischen anhaltender und „vorübergehender“ Aktivität gibt, was auch immer letztere ist
@AleksejsFomins Es ist ein Versuchsdurchschnitt. Sie können eine anhaltende Aktivität haben, die entweder relativ konstant ist, oder eine anhaltende Aktivität, die in „Wellen“ auftritt; dies gilt auch für sensorische Reaktionen, siehe Arbeiten von Ken Harris und Artur Luczak.
Wenn Sie von ANNs kommen, bin ich mir nicht sicher, was die Beweggründe für die direkte Modellierung des Arbeitsgedächtnisses wären, falls vorhanden. Es ist eine biologische Lösung, die nicht unbedingt für künstliche Netzwerke relevant ist, für die andere Tools verfügbar sind.
Nein nein, ich bin etwas dazwischen. Mir ist durchaus bewusst, dass hirninspirierte KNN keine Chance haben, mit digitaler Hardware oder bekannten ML-Algorithmen zu konkurrieren. Ich versuche, das Kreditzuweisungsproblem im Gehirn mithilfe von Reservoir-/Echo-State-Netzwerken zu lösen. Die Idee ist nett - das Reservoir führt eine generische Raum-/Zeittransformation bei eingehenden Daten durch, und eine flache Anzeige kann dann lernen, was sie benötigt. Biologisch plausibel und kann in Zukunft vielleicht die Trainingskosten von einfachen KNN verbessern. Das Hauptproblem dabei ist, dass die meisten Implementierungen bisher Eingaben sehr schnell vergessen und damit unbrauchbar werden. Tunen müssen
@AleksejsFomins Gotcha. Zum Lernen können Sie sich auch mit intrazellulären Gedächtnisprozessen über Second-Messenger-Systeme befassen, falls Sie dies noch nicht getan haben. Diese befinden sich außerhalb des sogenannten „Kurzzeitgedächtnisses“, sind aber immer noch eine Spur der jüngeren Geschichte, die zum Trainieren biologischer Netzwerke verwendet werden kann. Allerdings nicht mein Fachgebiet.
Hmm, das ist natürlich wirklich cool, aber vielleicht tiefer, als ich es mir leisten kann. Ein Kompromiss, den ich gesehen habe, beinhaltet das Speichern mehrerer dynamischer Variablen innerhalb einer Zelle. Beispielsweise kann sich die Zündschwelle einer Zelle aufgrund von Prozessen wie intrinsischer homöostatischer Plastizität oder erhöhter Erregbarkeit auf einigen verschiedenen Zeitskalen anpassen.
@AleksejsFomins Ja, wenn Sie vorschlagen, dass ein Second Messenger intrazellulär zunimmt, wenn ein Spike feuert (oder eine Synapse aktiviert wird) und mit einer (relativ langsamen) Zeitkonstante abfällt, müssen Sie nicht alle intrazellulären Stoffwechselprozesse modellieren. In der Biologie erwarten Sie einige Nichtlinearitäten, aber je nach Ihren Zielen sind diese möglicherweise nicht wichtig (oder können zumindest kompromittiert werden).
Ist das Kurzzeitgedächtnis theoretisch mit Spiking-Neuronen möglich?
AntwortenHierDatenschutz-Bestimmungen1y, 0v