Wenn informationstheoretische und thermodynamische Entropie nicht immer identisch sein müssen, was ist grundlegender?

Grundlegender ist kein klares und eindeutiges Konzept. Wenn mit Konzept A grundlegender als Konzept B gemeint ist, dass Konzept B aus Konzept A abgeleitet werden kann, aber nicht umgekehrt, kann es scheinen, dass die informationstheoretische Entropie grundlegender ist als die thermodynamische Entropie. Ich denke jedoch, dass diese Sichtweise nach eingehender Prüfung nicht mit den Tatsachen vereinbar erscheint.

Tatsächlich setzt die „Ableitung“ der Thermodynamik aus der Informationstheorie die Konzepte und Beziehungen der Thermodynamik voraus und zeigt, dass die statistisch-mechanischen Formeln für die Grundgleichungen der Thermodynamik aus der Informationstheorie abgeleitet werden können. Physikalische Theorien sind jedoch mehr als eine Reihe von Symbolen. Sie müssen die Interpretationsregeln für den Formalismus enthalten. Daher genügt es, an das Konzept der Wärme zu denken. Wie wird es innerhalb der Informationstheorie definiert, ohne die Thermodynamik zu verwenden?

Von grundsätzlicher würde ich daher nicht sprechen . Ich würde eher sagen, dass es sich um zwei verschiedene Entropien mit unterschiedlichen Geltungsbereichen handelt. In einigen Fällen kann die Informationstheorie Ergebnisse liefern, die mit der Thermodynamik übereinstimmen, vorausgesetzt, die Interpretationsregeln der Thermodynamik wurden verwendet .

Eine andere, aber verwandte Beobachtung ist, dass die gleiche Namensentropie für zwei verschiedene Entitäten in der Thermodynamik und der Informationstheorie nicht unbedingt eine hierarchische Beziehung impliziert.

Zu Ihrer zweiten Frage ist die Antwort negativ. Es gibt Fälle, in denen nur einer von ihnen für ein physikalisches System sinnvoll sein kann. Ich werde versuchen, die vorherige Aussage mit ein paar Beispielen zu erklären:

1. Die Shannon-Formel erfordert lediglich die Zuordnung einer Wahrscheinlichkeit zu jedem Mikrozustand eines Systems. Daher ist es auch im Fall einer Nichtgleichgewichtswahrscheinlichkeitsverteilung ein sinnvolles Konzept. Die thermodynamische Entropie ist nur für Gleichgewichtssysteme definiert.
2. Thermodynamische Systeme basieren auf physikalischen Systemen mit zugrunde liegender Dynamik, die die Entwicklung mikroskopischer Zustände steuert. Selbst statischen (sich nicht entwickelnden) Systemen kann Informationsentropie zugeordnet werden.

Einerseits ist die thermodynamische Entropie nur eine spezielle Art der Informationsentropie, daher ist letztere grundlegender.

Andererseits ist die Informationsentropie im Allgemeinen subjektiv und vom Beobachter abhängig, aber die thermodynamische Entropie ist für alle Beobachter gleich (bis auf eine Verschiebung um eine Konstante, was nicht signifikant ist) und daher tatsächlich objektiv und wegen das spielt in der Physik eine grundlegende Rolle.

Beachten Sie, dass man sich im Prinzip einen Beobachter vorstellen kann, für den die thermodynamische Entropie bedeutungslos ist, aber ein solcher Beobachter muss nichtlokal sein, und die dynamischen Gesetze der Physik erlauben anscheinend nicht die Existenz solcher Beobachter.

Einige Details finden Sie in "The Physical Basis of The Direction of Time" von Zeh.

Die Beziehung zwischen Information und thermodynamischer Entropie besteht darin, dass sie konzeptionell unterschiedlich , aber in einem ähnlichen Sinne äquivalent sind wie Masse und Energie, was bedeutet, dass es eine Eins-zu-Eins-Proportionalität zwischen den beiden gibt, aber ihre semantischen Bedeutungen sind ganz anders. Dies kann in Form einer Gleichung zusammengefasst werden

(Wenn man misst$H$in shannons statt nats) und vor allem bezieht sich dies auf Änderungen der Entropie, da es eine willkürliche konstante Verschiebung geben kann, die sich auf die Informationsmenge des Agenten bezieht, dem die Informationsentropie zugeschrieben wird.

Konzeptionell besteht der Unterschied darin, dass die thermodynamische Entropie für ein physikalisches System gilt , die Informationsentropie jedoch für eine Nachricht , die abstrakter ist, oder besser gesagt, die Beziehung zwischen einer Nachricht und einem empfangenden Agenten. Da sie für verschiedene Dinge gelten, ist es schwierig, eine als grundlegender zu bezeichnen, oder, wenn überhaupt, könnten wir die thermische Entropie aus physikalischer Sicht als die "grundlegendere" bezeichnen, da sie eine direkte physikalische Eigenschaft eines Systems ist. Die Äquivalenz ergibt sich, wenn wir bedenken, dass die fragliche „Nachricht“ die mikroskopische Beschreibung des physikalischen Systems ist, dh die Nachricht, die den Mikrozustand des Systems vollständig spezifiziert.

Die hier von anderen Postern angeführten Einwände beziehen sich auf das Lernen/Erwerben von Informationen durch Agenten - diese Art von Änderungen sind nicht diejenigen, auf die sich die obige Äquivalenz bezieht: Sie bezieht sich darauf, wie das Wissen des Agenten, ohne neue Informationen zu erwerben, im Laufe der Zeit "datiert". Das System erfährt eine physikalische Evolution gemäß den Gesetzen der Physik. Wenn es neue Informationen erfährt, was bedeutet, dass es seine Beschreibung des Makrozustands erweitert, um weniger "Makro" und mehr "Mikro" zu sein, dann$H$springt in einer Weise inkonsistent zu$S$Weil$S$basiert auf einem festen Standard-Makrozustand (z. B. Energie und Volumen für ein Gas). Eine andere Sichtweise besteht darin, dass, wenn das System und der Agent bei der Messung interagieren, die Isolation, auf die sich die Zuordnungen von beziehen$S$Und$H$hängen, bricht zusammen. Man sollte in solchen Situationen dann nachfragen$S$Und$H$dem zusammengesetzten System/Agenten-Paar von einem zweiten Agenten zugeschrieben wird, wenn man wirklich über die Äquivalenz diskutieren will.

(PS die Verwendung von$H$hier sollte nicht mit Enthalpie verwechselt werden . Das ist in diesem Zusammenhang eine unglückliche Notationskollision, aber hey - immerhin das Schubladenprinzip ...)