Gibt es eine Äquivalenz zwischen Boltzmann-Entropie und Shannon-Entropie?

Ich habe bereits andere Beiträge zu diesem Thema analysiert, aber keiner von ihnen scheint meine Befragung vollständig zu beantworten

[ diese Frage soll in Zusammenhang mit dieser Frage gestellt werden Gibt es eine Äquivalenz zwischen Information, Energie und Materie? ]

ja nach Bekenstein

Die thermodynamische Entropie und die Shannon-Entropie sind konzeptionell äquivalent.

Die Anzahl der Anordnungen, die von der Boltzmann-Entropie gezählt werden, spiegelt die Menge an Shannon-Informationen wider, die benötigt würden, um eine bestimmte Anordnung zu implementieren ...

...von Materie und Energie

mit

für einige kann die thermodynamische Entropie als spezifisches Beispiel der Shannon-Entropie angesehen werden. Kurz gesagt, die thermodynamische Entropie ist eine Shannon-Entropie, aber nicht unbedingt umgekehrt.

für andere ist die Shannon-Entropie eine mathematische Größe für "abstrakte Systeme" und hat nichts mit thermodynamischer Entropie zu tun.

Gibt es eine einvernehmliche Antwort auf diese Frage:

Gibt es eine Äquivalenz zwischen Boltzmann-Entropie und Shannon-Entropie?

Nur um klar zu sein, Sie fragen, ob Sie bekommen können S = k B ln ⁡ ( W ) aus S = − k ∑ P ich ln ⁡ ( P ich ) richtig?
@Jepsilon, ... in der Tat ist die Boltzmann-Entropie ein Sonderfall der Gibbs-Shannon-Entropie, bei der es sich um die Shannon-Entropieformel handelt, die auf die mikroskopischen Zustände eines physikalischen Systems angewendet wird, sodass Sie einer von denen sind, die glauben, dass die thermodynamische Entropie so gesehen werden kann eine bestimmte Instanz der Shannon-Entropie ...?
Es gibt viele Arten thermodynamischer Entropie, hauptsächlich mikrokanonische (Boltzmann), kanonische (Gibbs) und großkanonische (ich denke, Landau war für diese verantwortlich). All dies kann aus der Shannon-Entropieformel erhalten werden, indem die entsprechenden Einschränkungen festgelegt werden. In gewisser Weise ist die Shannon-Entropie ja ein allgemeineres Konzept. Es verallgemeinert sich auch auf Größen wie Cross-Entropie und KL-Divergenz, die zur Quantifizierung von Ähnlichkeiten zwischen Verteilungen verwendet werden.
Wie ich jedoch in meiner Antwort sagte, ist die Boltzmann-Entropie ein ziemlich wichtiger Spezialfall, da sie eine scharfe Obergrenze angibt S
Ich wage es, Sie zu bitten, sich diese Frage anzusehen, die mit der hier gestellten verwandt ist, und geben Sie Ihren Standpunkt zu den Konsequenzen der Antwort an, die Sie hier gegeben haben, ... ... [https: //physics.stackexchange .com/questions/408257/gibt-es-eine-äquivalenz-zwischen-information-energie-und-materie]
Falls Sie es noch nicht gesehen haben: physical.stackexchange.com/questions/263197/…
@ Rococo, danke für den Link, .... wenn ich es gut verstanden habe, ist Ihr Standpunkt, dass die thermodynamische Entropie als eine bestimmte Anwendung der Informationsentropie angesehen werden kann. Dieser POV trifft auf Jepsilons POV ...
@alamata ja, ich glaube das ist richtig. Es hängt auch mit der Formulierung der Thermodynamik von ET Jaynes zusammen, die beispielsweise hier diskutiert wird: physical.stackexchange.com/questions/26821/…

Antworten (1)

Die Boltzmannsche Entropieformel lässt sich aus der Shannon-Entropieformel ableiten, wenn alle Zustände gleich wahrscheinlich sind.

Sagen Sie, Sie haben W Mikrozustände gleichwahrscheinlich mit Wahrscheinlichkeit P ich = 1 / W . Dann:

S = − k ∑ P ich ln ⁡ P ich = k ∑ ( ln ⁡ W ) / W = k ln ⁡ W

Eine andere Möglichkeit, dieses Ergebnis zu erhalten, ist die Maximierung S gegeben das ∑ P ich = 1 mit Lagrange-Multiplikatoren:

max P ich ( S ) = − k ∑ P ich ln ⁡ P ich − λ ( ∑ P ich − 1 )

Das Hinzufügen weiterer Beschränkungen führt zu einer niedrigeren Entropieverteilung (z. B. die kanonische Entropie beim Hinzufügen der Energiebeschränkung und die großkanonische beim Hinzufügen von Energie- und Partikelbeschränkungen).

Als Randbemerkung lässt sich auch zeigen, dass die Boltzmann-Entropie eine Obergrenze für die Entropie ist, die ein System für eine feste Anzahl von Mikrozuständen haben kann:

S ≤ k ln ⁡ W

Dies kann auch so interpretiert werden, dass die gleichmäßige Verteilung die Verteilung ist, die die höchste Entropie liefert (oder die wenigsten Informationen, wenn Sie möchten, dass jemand so freundlich war, dies für mich hier zu beweisen https://math.stackexchange.com/questions/2748388/proving -dass-Shannon-Entropie-maximal-für-die-gleichmäßige-Verteilung-mit-conve ist ).

Gibt es eine Äquivalenz zwischen Boltzmann-Entropie und Shannon-Entropie?
AntwortenHierDatenschutz-Bestimmungen1y, 2v