Wenn man mehr daran interessiert ist, zu verstehen, wie Algorithmen im biologischen Gehirn Probleme lösen (theoretisch, insbesondere der mathematische Aspekt), und möglicherweise am Aufbau einer vom Gehirn inspirierten Berechnung (angewandte Theorie, insbesondere Neurorobotik), dann wird empfohlen, sich mehr auf das Studium der Berechnung zu konzentrieren Neurowissenschaft statt künstliche neuronale Netze/maschinelles Lernen? Es scheint, dass letzteres eher an Algorithmen orientiert ist, nur um Probleme über Computersimulationen ohne die Einschränkungen biologischer Gehirne zu lösen, obwohl es immer noch große Bereiche für die Theorie des maschinellen Lernens und künstlicher neuronaler Netze gibt.
Computational Neuroscience und neuronale Netze werden beide in diesem MSc an der University of Sussex studiert . Als ich den Kurs 2004/5 belegte, war das Modul „Neural Networks“ obligatorisch und das Modul „Computational Neuroscience“ im 2. Semester optional, was darauf hindeutet, dass die Kursdesigner (weltweit führend in biologisch inspiriertem Computing) dachten, dass das Studium neuronaler Netze zuerst möglich wäre unterstützen das Studium der Computational Neuroscience. Ich denke, einige der anderen Themen, die in diesem Kurs gelehrt werden, wären für Sie von Interesse, z. B. die Entwicklung genetischer Algorithmen für die Robotersteuerung (siehe Rodney Brooks – und die iRobot Corporation).
Um die Frage zu beantworten (!), denke ich, dass Sie wahrscheinlich ein gewisses Verständnis für (einfache) neuronale Netze (künstlich oder auf andere Weise) benötigen, um tiefer gehende Konzepte in der Computational Neuroscience zu verstehen.
Neuronale Netze stellen eine (sehr wichtige) Organisationsebene dar, die in der Hirnforschung rechnerisch modelliert wird. Computational Neuroscience versucht, diese so biologisch realistisch wie möglich zu machen, indem sie oft Modelle erstellt, die auf mehreren Ebenen funktionieren, wie zum Beispiel, dass die neuronalen Netzwerke eine elektrochemische Dynamik aufweisen- etwas, das offensichtlich nicht das Ziel der Standardforschung zum maschinellen Lernen ist. In gewisser Weise macht Sie das Studium der Computational Neuroscience zwangsläufig zu einem größeren Experten für künstliche neuronale Netze, als das Studium des maschinellen Lernens es jemals tun wird. Die Art der neuronalen Netze, die beim maschinellen Lernen verwendet werden, ist viel zu einfach, um das Gehirn zu erklären. Machine Learning-Texte könnten Ihnen jedoch einen Einblick geben, wie Informationen über die Umgebung möglicherweise im Gehirn gespeichert werden könnten. Computational Neuroscience steckt als Feld noch in den Kinderschuhen, insbesondere was die Modellierung des Lernens im Gehirn betrifft. Sogar Chris Eliasmiths neurales Netzwerkmodell Spaun (das ziemlich beeindruckend ist!) wurde von Henry Markram kritisiert(der Typ, der 1 Milliarde Euro von der EU für das Human Brain Project bekommen hat), weil er biologisch unrealistisch ist. Kurz gesagt, Sie werden im Studium der Computational Neuroscience um die grundlegende KNN-Theorie nicht herumkommen und diese in biologischer Hinsicht erheblich erweitern. Vielleicht möchten Sie sich jedoch Texte zum maschinellen Lernen ansehen, um zu sehen, wie neuronale Netze möglicherweise Muster speichern könnten.
Insofern leider nicht sehr verwandt. Während die ursprüngliche Inspiration für künstliche neuronale Netze (KNN) biologischer Natur war, kamen die meisten späteren Fortschritte bei KNNs für das sogenannte "maschinelle Lernen", das sich normalerweise mit der Optimierung einiger Funktionen befasst, aus mathematischen Erkenntnissen, die nicht auf der Biologie basierten; Zitat von Marblestone et al. (2016) :
Die künstlichen neuronalen Netze, die heute beim maschinellen Lernen eine herausragende Rolle spielen, wurden natürlich ursprünglich von der Neurowissenschaft inspiriert (McCulloch und Pitts, 1943). Während die Neurowissenschaften weiterhin eine Rolle spielen (Cox und Dean, 2014), wurden viele der wichtigsten Entwicklungen eher von Erkenntnissen aus der Mathematik der effizienten Optimierung als von neurowissenschaftlichen Erkenntnissen geleitet (Sutskever und Martens, 2013). Das Gebiet hat sich von einfachen linearen Systemen (Minsky und Papert, 1972) über nichtlineare Netzwerke (Haykin, 1994) bis hin zu tiefen und rekurrenten Netzwerken (LeCun et al., 2015; Schmidhuber, 2015) entwickelt. Backpropagation of error (Werbos, 1974, 1982; Rumelhart et al., 1986) ermöglichte es, neuronale Netze effizient zu trainieren, indem ein effizientes Mittel bereitgestellt wurde, um den Gradienten in Bezug auf die Gewichtungen eines mehrschichtigen Netzes zu berechnen. Die Trainingsmethoden wurden verbessert, um Impulsterme, bessere Gewichtungsinitialisierungen, konjugierte Gradienten usw. einzubeziehen und sich zu der aktuellen Art von Netzwerken zu entwickeln, die unter Verwendung von chargenweisem stochastischen Gradientenabstieg optimiert wurden. Diese Entwicklungen haben wenig offensichtliche Verbindung zur Neurowissenschaft.
Marblestone (der ein KI-Forscher ist) und Kollegen argumentieren (tatsächlich ist dies der Punkt ihres Artikels), dass
dass Neurowissenschaften und maschinelles Lernen jedoch wieder reif für eine Konvergenz sind
Ihre Liste von Argumenten ist ziemlich lang und ich werde ihnen hier sicherlich nicht gerecht, aber sie zitieren zum Beispiel einen kürzlich erschienenen Artikel, der vorschlägt zu erklären, dass die Hebbsche Plastizität eine Form der Optimierung ist:
Häufig können diese Arten der lokalen Selbstorganisation auch als Optimierung einer Kostenfunktion angesehen werden: Beispielsweise können bestimmte Formen der Hebbschen Plastizität als Extraktion der Hauptkomponenten der Eingabe angesehen werden, wodurch ein Rekonstruktionsfehler minimiert wird ( Pehlevan und Chklovskii, 2015 ) . .
Marblestoneet al. widmen einen beträchtlichen Teil ihrer Arbeit der Überprüfung relativ neuer Arbeiten, die versucht haben, die Backpropagation (eine Schlüsselmethode für den Erfolg von ANN bei der Optimierung) im Gehirn zu lokalisieren. Die Liste der Hypothesen, wie Backpropagation im Gehirn ablaufen könnte, ist leider ziemlich lang, daher werde ich sie hier nicht wiederholen; Ich verweise nur auf ein paar Artikel und Vorträge Hinton (2016) ; Liao (2015) , die untersuchen, wie Backpropagation mit biologischen Netzwerken zusammenhängt (oder nicht), oder die sogar biologisch inspirierte Alternativen zur Verwendung in KNN vorschlagen, z. B. Balduzzi (2014) .
Ein weiteres Problem, das Marblestone et al. In der Tiefe geht es darum, wie Kostenfunktionen im Gehirn dargestellt werden können. Und das passt dazu, wie Erinnerungen und Ziele im Gehirn repräsentiert werden. Dies ist offensichtlich ein weites Forschungsgebiet. Da die tiefenbiologischen Arbeiten im Allgemeinen über meiner Gehaltsstufe liegen, werde ich nur auf eine kürzlich erschienene Arbeit (hervorgehoben von Marblestone) verweisen, in der vorgeschlagen wird, dass ein „naiver Nutzenkalkül“ einem Großteil der „Psychologie des gesunden Menschenverstands“ zugrunde liegt; Jara-Ettinger et. Al (2016) .
Fizz