Im Jahr 2004 wurde Jeff Hawkins ' Buch On Intelligence weithin gelobt . Aber Hawkins hat einige Behauptungen über künstliche neuronale Netze aufgestellt, die (für mich) heute, nur 13 Jahre später, unhaltbar erscheinen. Er erweckt den Eindruck, dass künstliche neuronale Netze grundsätzlich nicht in der Lage sind, was er invariante Repräsentationen und hierarchische Speicherung von Mustern nennt (S. 70 ff).
Meine Fragen sind:
Hat er die spätestens 2005 einsetzende Entwicklung des Deep Learning (siehe Geschichte des Deep Learning ) nicht (vorhergesehen), die sowohl invariante als auch hierarchische Darstellungen umfasst?
Oder sind seine Vorbehalte gegenüber künstlichen neuronalen Netzen (einschließlich Deep Learning) gerechtfertigt, und die invarianten und hierarchischen Darstellungen von Deep Learning sind nicht konkurrenzfähig zu denen biologischer Netze, dh des Neocortex? In welcher Hinsicht denn?
Über invariante und hierarchische Darstellungen (nach meinen Worten und meinem Verständnis):
Eine invariante Darstellung – z. B. eines Gesichts – ist eine Darstellung, die unabhängig und damit invariant gegenüber bedingten Aspekten des Gesichtsbildes ist, die mit Entfernung, Betrachtungswinkel, Lichtverhältnissen und dergleichen zu tun haben.
Es ist die Darstellung in der höchsten Schicht einer Hierarchie von Darstellungen, wobei lokale geometrische Merkmale in der untersten Schicht dargestellt werden.
Dies beschreibt oberflächlich sowohl Deep Learning als auch kortikale Architekturen. Aber vielleicht gibt es Details der Implementierung/Realisierung, die das eine signifikant und wirklich effizienter machen als das andere, zB kortikale Säulen, die in Deep-Learning-Architekturen nicht vorhanden zu sein scheinen, oder?
Ich denke, die Terminologie von Hawkins neigt dazu, nicht so präzise zu sein, wie sie sein sollte. Ich denke, das ist auch der Grund für diese Frage.
Der Eindruck, dass Hawkins sagt, dass Computer oder neuronale Netze bestimmte Aufgaben, die für das menschliche Gehirn Routine sind, niemals ausführen können, mag an seiner mangelnden Präzision liegen.
Du schreibst (in einem Kommentar):
Ich habe den Eindruck, dass er Computer und ANNs irgendwie gleich sieht.
Das ist nicht mein Eindruck 1 , deshalb beantworte ich zwei Fragen:
In Kapitel 2, "Neural Networks", S. 23-39, spricht Hawkins über eine bestimmte Art von künstlichen neuronalen Netzen (hauptsächlich S. 24-29).
Er spricht hauptsächlich von sehr einfachen ANNs. Siehe S. 25:
Die meisten neuronalen Netze bestanden aus einer kleinen Anzahl von Neuronen, die in drei Reihen verbunden waren.
Es stimmt, dass es viele Aufgaben gibt, die solche einfachen KNNs nicht (oder nicht gut) erledigen können, aber das gilt natürlich nicht für komplexere KNNs. Ich denke, das Problem hier ist, dass Hawkins diese Unterscheidung nicht immer klar genug macht, obwohl er auf S. 28:
Ich möchte nicht den Eindruck hinterlassen, dass alle neuronalen Netze von der einfachen dreischichtigen Sorte sind. Einige Forscher haben die Untersuchung neuronaler Netze mit unterschiedlichen Designs fortgesetzt. Heutzutage wird der Begriff neuronales Netzwerk verwendet, um eine Vielzahl von Modellen zu beschreiben, von denen einige biologisch genauer sind und andere nicht.
Vielleicht das folgende Zitat auf S. 32 könnte so interpretiert werden, dass er tatsächlich einige Entwicklungen nach 2004 vorausgesehen hat:
In den letzten Jahren hat der Glaube an die Bedeutung von Feedback, Zeit und Vorhersage zugenommen. Aber der Donner der KI und klassischer neuronaler Netze hielt andere Ansätze viele Jahre lang zurück und unterschätzt.
In Kapitel 4, "Memory", S. 65-84, (das die von Ihnen erwähnten S. 70ff enthält) spricht er nicht von künstlichen neuronalen Netzen, sondern von "Computern". Er gibt nicht genau an, was er meint, aber ich denke, es sind ungefähr "Maschinen, die größtenteils wie aktuelle Computer funktionieren".
Auf P. 67 sagt er, dass selbst „der größte vorstellbare Parallelcomputer bestimmte Aufgaben nicht lösen kann“, die das Gehirn lösen kann. Ich denke, das ist falsch, aber da nicht ganz klar ist, was er mit "Computer" meint, bin ich mir nicht sicher.
Einige oder die meisten Behauptungen von Hawkins mögen richtig sein, aber das hängt davon ab, was er mit „Computern“ oder „neuronalen Netzen“ meint, und das macht er nicht immer klar.
1 Zum Beispiel dieses Zitat auf S. 24 scheint zu implizieren, dass er einen Unterschied sieht:
Ein neuronales Netzwerk unterscheidet sich von einem Computer darin, dass es keine CPU hat und keine Informationen in einem zentralen Speicher speichert.
Fizz
Hans Peter Stricker