Wie schneidet hPES im Vergleich zu den Lernraten von KNNs ab?

Der primäre Lernmechanismus künstlicher neuronaler Netze (KNN) ist die Back-Propagation, die biologisch nicht plausibel ist [2].

Trevor Berkolay hat mit dem Neurological Engineering Framework (NEF) und Nengo eine Alternative zu diesem Lernen mit dem Namen hPES (Homeostatic Prescribed Error Sensitivity) geschaffen [1]. Aber wie lassen sich seine Lernfähigkeiten im Hinblick auf die erforderliche Rechenleistung und die Lerngeschwindigkeit mit dem standardmäßigen überwachten und unüberwachten Lernen von KNNs vergleichen?

[1] Siehe auch „How to Build a Brain“ von Chris Eliasmith Kapitel 6.4

[2] Weitere Details zu dieser Behauptung finden sich in der Frage „ Ist Back-Prop biologisch plausibel? “

Hinweis: Diese Frage stellte ANNs und die NEF als gegnerisch dar, was wirklich nicht der Fall ist. Spaun, das Gehirnmodell, das eine Art Aushängeschild des NEF ist, verwendet ANNs (speziell Convolutional Neural Networks), die in seinem Visionssystem in Spiking-Neuronen umgewandelt werden.

Antworten (1)

Laut dem Papier sind die Vorteile dieses neuen Ansatzes gegenüber herkömmlichen KNNs, Deep Belief Networks (DBN) und Self-Organising Networks (SON):

  1. Bleibt während des Online-Lernens funktionsfähig.
  2. Erfordert nur zwei Schichten, die mit gleichzeitigem überwachtem und unüberwachtem Lernen verbunden sind
  3. Verwendet Spiking-Neuronenmodelle, um zentrale Merkmale des biologischen Lernens zu reproduzieren, wie z. B. Spike-Timing-abhängige Plastizität (STDP)

hPES ist KNNs in Bezug auf die Leistungsfähigkeit wohl überlegen, aber in Bezug auf die Leistung müssen Sie den Code aus seinen Experimenten mit KNNs vergleichen, die dieselbe Aufgabe erfüllen sollen, da beide Methoden jedoch für unterschiedliche Zwecke entwickelt wurden , vielleicht lohnt sich ein Vergleich nicht. Darüber hinaus sollte beachtet werden, dass, obwohl der Autor behauptet, einen SON geschaffen zu haben, die Validierung dieser Behauptung in der Arbeit (und seiner Masterarbeit) ziemlich schwach ist. In der Arbeit beweist er nur, dass der SON die Sparsity erhöht, wofür SONs ​​(zum Beispiel Kohonen-Netzwerke) im Allgemeinen nicht verwendet werden.

Beachten Sie schließlich, dass, obwohl hPES biologisch plausibler ist, es immer noch einige der gleichen Probleme aufweist, die KNN haben. Die Parameter, die es aufnimmt, müssen nämlich für die spezifische Aufgabe, die es lernt, optimiert werden (einige Ansätze, dies mit KNNs zu lösen, umfassen genetische Algorithmen), auch wenn es weniger empfindlich auf Parameteränderungen reagiert. Der Autor erwähnt diese Untersuchung von Parametern als Teil zukünftiger Arbeiten.

Beschäftigt sich hPES nicht nur mit Preistypen und nicht mit Spitzenzeiten? Eine bessere Frage wäre, wie hPES im Vergleich zu STDP abschneidet.
@MattWay hPES kann wie alles in Nengo mit Spiking- und Rate-Neuronen verwendet werden
Ich habe nicht gesagt, dass es nicht geht.
@MattWay, wenn ich das noch einmal lese, tut es mir leid, dass ich dich falsch verstanden habe. Wenn Sie die Masterarbeit von Trevor Bekolay konsultieren, sehen Sie, dass hPES alle Aspekte von STDP erfasst.
@MattWay Jahre später habe ich eine SEHR kurze Zusammenfassung, wie es in dieser Antwort zusammenpasst
Wie schneidet hPES im Vergleich zu den Lernraten von KNNs ab?
AntwortenHierDatenschutz-Bestimmungen1y, 0v