Kürzlich habe ich einen Artikel über Bayes'sche Programmsynthese gelesen . Darin heißt es, dass Bayes'sche kognitive Modellierung KI-Systemen helfen würde, im Vergleich zu Deep Learning aus wenigen Beispielen zu lernen. Aber ich war nicht in der Lage, die Vorteile der Verwendung von Bayes'schen Formulierungen gegenüber anderen Formulierungen in der kognitiven Modellierung zu verstehen. Ich würde gerne verstehen, warum dieser Bayes'sche Ansatz auffällt? Was sind die Nachteile aktueller Ansätze zur kognitiven Modellierung?
Hier ist eine schnelle Antwort aus allgemeinem Hintergrundwissen, nicht aus spezifischem Wissen über "Bayesian Program Synthesis (BPS)".
Im Allgemeinen können Bayes'sche Modelle stark informierte Priors verwenden oder „könnte alles sein“-Priors. Starke Priors geben an, dass viele Parameterwerte sehr unwahrscheinlich sind, während einige andere Parameterwerte mögliche Beschreibungen der Daten sind. Bei einem starken Prior sind relativ wenige Daten erforderlich, um die Möglichkeiten auszuwerten (dh schnelleres Lernen). Schwache Prioren ermöglichen ein viel breiteres Spektrum an Möglichkeiten, aber es braucht eine Menge Daten, um die Möglichkeiten einzugrenzen (dh langsameres Lernen).
Viele Bayes'sche Denkmodelle verwenden starke Prioren. Solche Modelle sind mit bestimmten Struktur- oder Parameterabhängigkeiten voreingestellt, die auf die Art des zu lernenden Problems abgestimmt sind. Das ist kein „Betrug“; Der Prior ist ein entscheidender Teil der Theorie. Ein weiteres Beispiel kommt aus der Computer Vision: Herauszufinden, welche Objekte und Beleuchtungen ein verpixeltes 2D-Bild erzeugt haben, kann nur unter der Annahme eines starken Vorwissens über die Arten von Objekten und Beleuchtungsarten „da draußen“ in der Welt erfolgen, sonst ist es ein unlösbares Problem. Einen Einführungsartikel finden Sie hier bzw. hier (siehe insbesondere den Abschnitt „Vorkenntnisse“ ab S. 17).
Deep Learning ist jedoch (soweit ich weiß) ein generischer Ansatz, der nahezu jede mögliche Beziehung zwischen Variablen lernen kann. Der Preis dieses schwachen Priors besteht darin, dass es eine Menge Training erfordert, um die Parameterverteilung einzugrenzen.