Können künstliche neuronale Netze effektive Theorien sein?

Wikipedia beschreibt „ effektive Theorien “ wie folgt.

In der Wissenschaft ist eine effektive Theorie eine wissenschaftliche Theorie, die vorschlägt, eine bestimmte Reihe von Beobachtungen zu beschreiben, jedoch ausdrücklich ohne den Anspruch oder die Implikation, dass der in der Theorie verwendete Mechanismus ein direktes Gegenstück zu den tatsächlichen Ursachen der beobachteten Phänomene hat, auf die sich die Theorie bezieht ist ausgestattet. Das heißt, die Theorie schlägt vor, einen bestimmten Effekt zu modellieren, ohne vorzuschlagen, eine der Ursachen, die zu dem Effekt beitragen, angemessen zu modellieren.

Während Wikipedia mit dem Kontext „in der Wissenschaft“ beginnt, habe ich diese Sprache nur in der Physik gesehen, also frage ich hier auf Physics.SE.

Theoreme wie das Universal Function Approximation Theorem zeigen, dass bestimmte Klassen künstlicher neuronaler Netze bei ausreichender Breite und Tiefe der Schichten des Netzes messbare Lebesque-Funktionen mit beliebiger Genauigkeit (bis zum Maß Null) approximieren können. Dies hat mich dazu veranlasst, den Leuten einen Witz zu erzählen, dass "neuronale Netze niemals eine Theorie von allem sein werden, aber sie sind bereits eine Theorie von 'alles'".

Wenn man den Begriff der effektiven Theorien mit neuronalen Netzen verbindet, zählen neuronale Netze tatsächlich als effektive Theorien? Oder gibt es hier eine Nuance, in der sie sich nicht qualifizieren?


Vermutlich könnte man im Kontext des Satzes von Stone-Weierstraß eine ähnliche Frage zu Polynomen stellen , aber ich vermute, die Antwort wird einen ähnlichen Charakter haben.

Antworten (1)

Ich glaube nicht, dass dies den Geist der von Ihnen gestellten Frage ändert, aber ich beginne mit einer Klarstellung, weil ich denke, dass die Definition von Wikipedia unklar ist (ich weiß nicht, was "tatsächliche Ursachen" bedeutet). Die Art und Weise, wie die meisten Physiker den Begriff "effektive Theorie" verwenden, bezieht sich nicht auf eine einzelne Theorie an sich. Es ist eine Beziehung zwischen zwei verschiedenen Theorien, von denen eine unbekannt sein kann. Eine Theorie kann eine "effektive Theorie" einer anderen Theorie (möglicherweise unbekannt) sein, indem einige der Vorhersagen dieser anderen Theorie unter Verwendung weniger detaillierter Postulate reproduziert werden.

Mit dieser Klarstellung lautet die Antwort ziemlich klar ja: Ein neutrales Netzwerk könnte tatsächlich so konstruiert werden, dass es viele der Vorhersagen einer anderen Theorie reproduziert, sagen wir QED, also könnte ein neuronales Netzwerk tatsächlich eine „effektive Theorie“ sein. Die meisten Physiker wären mit einer solchen Theorie nicht zufrieden, nicht einmal als "effektive Theorie", weil sie nicht sehr effizient ist: Jeder Parameter, der jedes Neuron charakterisiert, ganz zu schweigen von der Topologie des Netzwerks, ist im Wesentlichen ein separates Postulat. Das sind viele Postulate . Aber abgesehen von ästhetischen Kriterien lautet die Antwort ja: Ein neuronales Netzwerk kann eine (sehr ineffiziente) effektive Theorie sein.

Eigentlich bin ich vielleicht nicht fair, wenn ich annehme, dass es ineffizient wäre. Angenommen, wir haben ein neuronales Netz darauf trainiert, Millionen verschiedener experimenteller Ergebnisse zu reproduzieren. Damit das Training erfolgreich ist, muss die neurale Netzarchitektur, mit der wir begonnen haben, ausreichend ausdrucksstark sein. Wenn wir das Glück haben , eine Architektur zu wählen, die gerade noch ausdrucksstark genug ist, dann hätten wir tatsächlich eine effiziente Theorie, ob wir sie „effektiv“ nennen oder nicht. In der Praxis erscheint die Auswahl einer Architektur, die gerade noch ausdrucksstark genug ist, jedoch genauso schwierig wie die Entwicklung einer effizienten Theorie auf traditionelle Weise – indem man das Problem über viele Jahrzehnte hinweg bearbeitet, eine Veröffentlichung nach der anderen.