Thermodynamik von Occams Razor

In Bezug auf das Testen von Bayes'schen Hypothesen wird Occams Rasiermesser in die vorherigen Wahrscheinlichkeiten der Hypothesen aufgenommen. Oft kann man Unterschiede in den A-priori-Wahrscheinlichkeiten als "entropisch" interpretieren. Stellen Sie sich zB zwei Modelle vor: H1: 0<=x<0.2, H2: 0.2<x<1.0, basierend auf einem Parameter 0<=x<1. Wenn wir die Verteilung der maximalen Entropie (konstante) als vorherige Verteilung für nehmen x, dann ist die a priori Tendenz in Richtung H2auf die Tatsache zurückzuführen, dass es "mehr Zustände", dh höhere Entropie, für dieses Modell gibt. Diese unkomplizierte Verwendung von Bayes'schen Hypothesentests hat nicht die Eigenschaft, energetische gegen entropische Überlegungen abzuwägen; oder äquivalent dazu gibt es kein Analogon der (variablen) Temperatur.

Es gibt Forschung zur statistischen Mechanik von Bayeisan-Netzwerken, zB können Variationsansätze zur Schätzung der freien Energie in physikalischen Systemen als ungefähre Ausbreitungsalgorithmen angewendet werden (Yeddida ist ein relevanter Autor). Am Ende ist die Thermodynamik bei erledigt kT=1, sodass Energie <=> Log-Wahrscheinlichkeit.

Wenn Sie zu maschinellen Lernproblemen kommen, können Sie anfangen, Dinge zu sehen, die wie Temperaturen in den Modellen aussehen; und so erhalten Sie weitere interessante Analogien. Ich habe Artikel gesehen (ich habe keine Referenz zur Hand), in denen sie in den Anfangsphasen des Erlernens von Bayes'schen Netzwerken (effektiv) eine hohe Temperatur verwendet haben, um eine Überanpassung der bedingten Beziehungen zu verhindern, während die Struktur noch unsicher war, und dann die " Temperatur" bis kT=1, und sie fanden das Maximum-Likelihood-Modell für die Daten.

Es gibt eine meiner Meinung nach verwandte Anwendung beim Reinforcement Learning , bei der ein temperaturähnlicher Parameter verwendet werden kann, um zwischen Exploration (entropiegetrieben) und Exploitation (energiegetrieben) zu wechseln.

In Bezug auf die Art von Hypothesentests, auf die im OP angespielt wird, habe ich keine Forschung mit echter Thermodynamik gesehen (Fehlen von Beweisen und allem ...), und ich sehe nicht, auf welches Merkmal dieser Art von Problemen abgebildet wird die Idee einer Temperatur. An verschiedenen Stellen im maschinellen Lernen habe ich jedoch gesehen, was wie relevante Ideen aussah; Dies liegt an der Tatsache, dass diese Art von Problemen die Modellanpassung (Energieanalog) gegen die Verallgemeinerung (Entropieanalog) abwägen müssen. Keiner von ihnen entspricht genau den in der Frage festgelegten Kriterien, liefert aber hoffentlich einige Hinweise darauf, wo verwandte Ideen aufgetaucht sind.

Occams Rasiermesser sucht nach der „besten“ Antwort und definiert diese als die „plausibelste Antwort“. In der Wissenschaft haben wir nicht den Luxus, nach einer „wahren Hypothese“ zu suchen, weil die Definition einer wahren Hypothese eine ontologische ist, die über den Bereich der Wissenschaft hinausgeht (sie liegt eher im Bereich der Religion). Stattdessen wird Entdeckung als langsame Anhäufung von Verbesserungen behandelt.

Wenn wir die Tore öffnen würden, um eine breitere Palette komplexerer Hypothesen zu berücksichtigen, würden wir theoretisch eher die „wahre“ Hypothese in der ersten Runde berücksichtigen. Bedeutet das jedoch, dass wir eher nach der wahren Hypothese handeln? Das ist eine schwierigere Frage.

Betrachten Sie einen Satz von Hypothesen, die aus einer Kernhypothese H aufgebaut sind. Definieren Sie eine Transformation (H, n) -> H', die eine neue Hypothese erstellt, indem sie die Kernhypothese mit einigen numerisch definierten Änderungen kombiniert, um eine neue Hypothese zu erstellen. Dies könnte leicht die Form des "Hinzufügens zusätzlicher Freiheitsgrade" annehmen, die Sie erwähnen.

Lassen Sie uns nun auch eine "einfachste" Hypothese, S, aufnehmen und einige Hypothesen, H1, H2 und H3 (erzeugt aus (H, 1), (H, 2) bzw. (H, 3)), instanziieren. Es ist klar, dass wir so viele davon definieren könnten, wie wir wollen, und die Wirkung jeder einzelnen Hypothese, einschließlich S.

In vielen Fällen ist es bemerkenswert schwer zu beweisen "Alle Hypothesen, die mit (H, n) -> H' konstruiert wurden, sind mit geringerer Wahrscheinlichkeit 'wahr' als S." Dies schafft ein frustrierendes Dilemma: Allein durch das Zählen von 1 aufwärts könnte eine einzelne Person eine beliebige Anzahl von zu prüfenden Hypothesen aufstellen, von denen eine wahr sein könnte.

In einer idealen Welt, in der die Diskussion von Hypothesen kostenlos ist und keine Zeit in Anspruch nimmt, ist dies kein Problem. Man diskutiert einfach den unendlichen Satz von Hypothesen, zieht eine Schlussfolgerung und geht weiter. In der realen Welt ist das Testen einer Theorie jedoch teuer. Wir wollen es nicht einfach machen, das Wasser zu trüben.

Die Lösung der Wissenschaft ist also Occams Rasiermesser. Anstatt zu versuchen, in einem Sprung zur „wahren“ Hypothese zu springen, versucht die Wissenschaft einfach, „näher“ zu springen. Einfachheit ist etwas, auf das man sich einigermaßen einigen kann (es ist nicht perfekt, aber es ist viel einfacher, als sich auf „Wahrhaftigkeit“ zu einigen). Die Wissenschaft und Occam's Razor erklärt also ein Postulat: "Im Allgemeinen führt uns das Finden einer einfachen und größtenteils richtigen Hypothese zu einer besseren Lösung in der nächsten Iteration, als wir durch die Auswahl einer komplexeren Hypothese erhalten hätten." Wenn also die "wahre" Hypothese, wählen wir H3, eine zusätzliche Variable hätte, behauptet die Wissenschaft, dass sie billiger und schneller zu H3 kommt, wenn sie zuerst durch S geht und diese dann auf H3 ausdehnt. Es behauptet, dass, wenn es zu H3 springen müsste,

Ich lenke die Aufmerksamkeit auf das Wort „Postulat“. Es gibt nichts, was sagt: „Occams Rasiermesser ist der wahre Weg, um Wissen zu finden.“ Es ist nur ein Prinzip, das in der wissenschaftlichen Forschung erfolgreich genug war, um ein hohes Prestigeniveau zu erreichen.

Ich denke, Sie könnten Literatur zu dem Thema im Allgemeinen finden. Die Art des Rasierers von Occam ist in Bezug auf die Optimierung von Systemen gut definiert. In seiner traditionellen Verwendung ist Occams Rasiermesser ein Ansatz, der darauf abzielt, den Wert der generierten Hypothesen gegenüber der für sie aufgewendeten Zeit zu optimieren. Wenn Sie alternative Optimierungen untersuchen möchten, die die "wahre" Hypothese schneller finden, könnten Sie damit beginnen, zu untersuchen, wie man testen würde, ob eine Hypothese "wahr" ist, und dann sehen, ob dies in Richtungen führt, die alternative Optimierungstechniken erfordern.

Ich glaube jedoch nicht, dass Sie in der Literatur viel über die Anwendung von Occams Rasiermesser in der Philosophie finden werden, da Occams Rasiermesser von der Prämisse ausgeht, dass diese beiden Hypothesen die gleiche Beweiskraft haben. Dies ist ein höchst ungewöhnlicher Vorfall in der Philosophie, weil es so wenig Einigkeit über die Definition von „Macht beweisen“ gibt. An den wenigen Stellen, an denen ich damit vertraut bin (Phyiskalismus vs. Dualismus vs. Idealismus ist mein Favorit), sehen wir tatsächlich, was Sie vorschlagen: Anstatt nur von einer Hypothese auszugehen und sich vorwärts zu bewegen, hat die Philosophie mehrere parallel vorangetrieben.

Ich werde zwei Dinge als Antwort vorschlagen.

Erstens ist Occams Razor nicht genau definiert. Auf einer Ebene ist überhaupt nicht klar, was William von Ockham geschrieben hat, außer dass es sich um eine Art Sparsamkeitsprinzip handelt ( Link ). Auf einer anderen Ebene ist es schwierig, jemanden zu finden, der wissentlich eine Erklärung mit überflüssigen Details anbietet. Zumindest ist das meine Meinung dazu.

Zweitens war meine Erfahrung aus meiner Studentenzeit in Chemie, dass Chemiker immer mit Vereinfachungen arbeiten und versuchen, die am wenigsten ausreichende Vereinfachung auszuwählen (womit ich die einfachste Form meine, die zur Lösung des Problems ausreicht).

Zum Beispiel tun wir in vielen elementaren Experimenten so, als ob ΔH = ΔE. Oder wir betrachten Gase gemäß PV=nRT statt der für reale Gase benötigten Virialgleichungen ( http://facstaff.cbu.edu/rprice/lectures/realgas.html ). Ebenso wählen wir Systeme, die einfach zu berechnen sind, gegenüber schwer zu berechnenden (beginnend mit der Verwendung des metrischen Systems über imperiale Einheiten).

Aber in Bezug auf die Literatur zur Wissenschaftsphilosophie kenne ich keinen Ort, der direkt auf Ihre Frage eingeht (was daran liegen könnte, dass meine AOSes und AOC nicht in der Wissenschaftsphilosophie liegen).

Siehe insbesondere SEP .

Die eigentliche Prämisse scheint ein bisschen tot zu sein. Ihr Hypothesenpool enthält die einfachsten. Da es sich also um eine Obermenge handelt, ist die Wahrscheinlichkeit, die beste Antwort im Pool zu finden, größer oder gleich der Wahrscheinlichkeit, dass die einfachste Antwort die beste ist.

Was die Anwendbarkeit der Ideen auf die Philosophie betrifft, hatte ich ein wenig Schwierigkeiten. Theoretisch macht es Sinn, dass Occam's Razor hier etwas bewirken sollte. Die Herausforderung besteht jedoch darin, dass Occam's Razor vorschlägt, dass das "Einfachste" das Beste sein sollte. „Einfach“ ist kein einfacher Begriff in der Philosophie. Menschen kommen mit unterschiedlichen Sätzen von Axiomen, und der Weg von ihnen zu einer Theorie ist nicht immer einfach. Zum Beispiel gibt es viele Theorien, die für Menschen, die an eine wörtliche Wort-für-Wort-Übersetzung der Bibel glauben, am "einfachsten" sind, aber für einen Atheisten nicht "am einfachsten".

Ich denke, Sie könnten eine Theorie in dieser Richtung auf Theorien für Ihren eigenen persönlichen Gebrauch anwenden, aber ich finde, dass der Wert von Occams Rasiermesser durch die Komplexität des Versuchs, Menschen dazu zu bringen, sich auf etwas Einfaches zu einigen, in den Schatten gestellt wird, daher ist es schwieriger, es anzuwenden in einer Gruppeneinstellung.