Wie beweist man S=−∑plnpS=−∑pln⁡pS=-\sum p\ln p?

Das Theorem wird Theorem zur geräuschlosen Codierung genannt und wird in Büchern zur Informationstheorie oft auf umständliche Weise bewiesen. Der Sinn des Theorems besteht darin, die minimale Anzahl von Bits pro Variable zu berechnen, die Sie benötigen, um die Werte von N identischen Zufallsvariablen zu codieren, aus denen ausgewählt wurde$1...K$deren Wahrscheinlichkeiten, einen Wert zu haben$i$zwischen$1$und$K$ist$p_i$. Die minimale Anzahl von Bits, die Sie im Durchschnitt pro Variable in der großen N-Grenze benötigen, ist als Information in der Zufallsvariablen definiert. Es ist die minimale Anzahl von Informationsbits pro Variable, die Sie in einem Computer aufzeichnen müssen, um sich die Werte der N Kopien mit perfekter Genauigkeit zu merken.

Sind die Variablen gleichverteilt, liegt die Antwort auf der Hand: Es gibt sie$K^N$Möglichkeiten für N Würfe, und$2^{CN}$Möglichkeiten für$CN$Stückchen, also$C=\log_2(k)$für große N. Bei weniger als CN-Bits können Sie die Werte der Zufallsvariablen nicht codieren, da sie alle gleich wahrscheinlich sind. Bei mehr als diesem haben Sie zusätzlichen Platz. Dies ist die Information in einer einheitlichen Zufallsvariablen.

Für eine allgemeine Verteilung können Sie die Antwort mit ein wenig Gesetz großer Zahlen erhalten. Wenn Sie viele Kopien der Zufallsvariablen haben, ist die Summe der Wahrscheinlichkeiten gleich 1,

Diese Wahrscheinlichkeit wird für große N von solchen Konfigurationen dominiert, bei denen die Anzahl der Werte vom Typ i gleich ist$Np_i$, da dies die mittlere Zahl der Typen i ist. Damit ist der P-Wert bei jeder typischen Konfiguration:

Für die Möglichkeiten, bei denen die Wahrscheinlichkeit nicht extrem klein ist, ist die Wahrscheinlichkeit also mehr oder weniger konstant und gleich dem obigen Wert. Die Gesamtzahl M(N) dieser nicht übermäßig unwahrscheinlichen Möglichkeiten ist erforderlich, um die Summe der Wahrscheinlichkeiten gleich 1 zu machen.

Um zu codieren, welche der M(N) Möglichkeiten in jeweils N Picks realisiert wird, braucht man also eine Anzahl von Bits B(N), die ausreicht, um alle diese Möglichkeiten zu codieren:

was bedeutet, dass

Und alle untergeordneten Konstanten werden durch die große N-Grenze ausgewaschen. Dies ist die Information, und die obige asymptotische Gleichheit ist das geräuschlose Codierungstheorem von Shannon. Um es rigoros zu machen, brauchen Sie nur einige sorgfältige Grenzen für die Schätzungen großer Zahlen.

Replik Zufälle

Es gibt eine andere interessante Interpretation der Shannon-Entropie in Bezug auf Zufälle. Betrachten Sie die Wahrscheinlichkeit, dass Sie zwei Werte der Zufallsvariablen auswählen und zweimal denselben Wert erhalten:

Dies ist eindeutig eine Schätzung, wie viele verschiedene Werte zur Auswahl stehen. Wenn Sie fragen, wie groß die Wahrscheinlichkeit ist, dass Sie in k-Würfen k-mal denselben Wert erhalten, ist es so

Wenn Sie fragen, wie hoch ist die Wahrscheinlichkeit eines Zufalls danach$k=1+\epsilon$wirft, erhalten Sie die Shannon-Entropie. Das ist wie der Replik-Trick, also denke ich, dass es gut ist, sich daran zu erinnern.

Entropie aus Informationen

Um die statistische Mechanik aus den Shannon-Informationen wiederherzustellen, erhalten Sie Folgendes:

• die Werte der makroskopischen Erhaltungsgrößen (oder ihrer thermodynamischen Konjugate), Energie, Impuls, Drehimpuls, Ladung und Teilchenzahl
• die makroskopischen Einschränkungen (oder ihre thermodynamischen Konjugate), Volumen, Positionen makroskopischer Objekte usw.

Dann ist die statistische Verteilung der mikroskopischen Konfiguration die maximale Entropieverteilung (so wenig Ihnen bekannte Informationen wie möglich) im Phasenraum, die die Bedingung erfüllt, dass die Größen mit den makroskopischen Größen übereinstimmen.

Die beste (IMHO) Ableitung der$\sum p \log p$Formel aus Grundpostulaten ist die ursprünglich von Shannon gegebene:

Shannon (1948) Eine mathematische Theorie der Kommunikation. Technisches Journal für Bell-Systeme. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6773024

Shannon befasste sich jedoch nicht mit Physik, sondern mit Telegrafie, sodass sein Beweis eher im Kontext der Informationsübertragung als der statistischen Mechanik erscheint. Um die Relevanz von Shannons Arbeit für die Physik zu sehen, sind die besten Referenzen Artikel von Edwin Jaynes. Er schrieb Dutzende von Artikeln zu diesem Thema. Mein Favorit ist der zugegebenermaßen ziemlich lange

Jaynes, ET, 1979, „Wo stehen wir bei maximaler Entropie?“ in The Maximum Entropy Formalism, RD Levine und M. Tribus (Hrsg.), MIT Press, Cambridge, MA, p. fünfzehn; http://bayes.wustl.edu/etj/articles/stand.on.entropy.pdf

Die funktionale Form der Entropie$S = - \sum p \ln p$kann verstanden werden, wenn man voraussetzt, dass die Entropie extensiv ist und von den mikroskopischen Zustandswahrscheinlichkeiten abhängt$p$.

Betrachten Sie ein System$S_{AB}$bestehend aus zwei unabhängigen Teilsystemen A und B. Dann$S_{AB} = S_A +S_B$und$p_{AB} = p_A p_B$da A und B entkoppelt sind.

Aus rein physikalischer Sicht ist dies die Gibbs-Entropie eines Systems. Erstens, obwohl das Konzept der Entropie erweitert werden kann, diskutieren wir normalerweise über Gleichgewichtsthermodynamik, und hier wird die Gibbs-Entropie sicherlich zuerst eingeführt.

Sie haben natürlich Recht, dass die Dynamik technisch durch ihre Bewegungsgleichungen vollständig beschrieben werden könnte, aber dann wäre das Thema Thermodynamik nicht wirklich nötig. Ich meine, die Thermodynamik ist in gewisser Weise nicht so "fundamental" wie andere Fächer der Physik, da sie nicht versucht, eine vollständige Beschreibung von allem zu gebenüber das System, das Sie studieren. Normalerweise diskutieren Sie große Systeme (und suchen daher nach makroskopischen Eigenschaften) oder kleine Systeme, die mit einer großen Umgebung interagieren. (z. B. macht es keinen großen Sinn, über die Temperatur eines Elektrons zu sprechen) In Wirklichkeit ist es völlig unpraktisch, nach einer deterministischen Beschreibung solcher Systeme zu suchen (auch ohne Chaostheorie und Quantenmechanik die Anzahl der Gleichungen wäre einfach zu enorm) und so nutzt man die Thermodynamik.

Bei der statistischen Gleichgewichtsthermodynamik (die nach einer Rechtfertigung der klassischen Thermodynamik auf der Grundlage von Mittelwerten einer mikroskopischen Beschreibung sucht) beginnt man mit dem Prinzip gleicher a priori Wahrscheinlichkeiten, das für ein isoliertes System, das lange Zeit in Ruhe gelassen wurde (vage, aber im Grunde, dass es im Gleichgewicht ist), ist jeder dem System zur Verfügung stehende Mikrozustand mit gleicher Wahrscheinlichkeit besetzt. Dies ist eine große Annahme, und es gibt viele Leute, die sie gerne richtig begründen könnten, aber sie wird oft mit Symmetrie argumentiert (mit den Informationen, die Sie haben, gibt es keinen Grund anzunehmen, dass ein bestimmter Mikrozustand wahrscheinlicher wäre als andere). Mehr noch, es funktioniert einfach.

Die Entropie eines isolierten Systems wurde dann postuliert$S=k \ ln(\Omega)$von Boltzmann wo$\Omega$ist die Anzahl der Mikrozustände, die dem System zur Verfügung stehen (es ist einfacher, dies aufzubauen, wenn eine diskrete Anzahl von Mikrozuständen angenommen wird, insbesondere wenn Sie über Boltzmann / Gibbs-Entropie sprechen). Es ist ein Postulat, aber es muss mit der klassischen thermodynamischen Entropie übereinstimmen. Die Gibbs-Entropie ist eine natürliche Erweiterung davon, wenn Sie Systeme betrachten, die in thermischem Kontakt mit einer Umgebung stehen und die Mikrozustandswahrscheinlichkeiten nicht mehr gleich sind. Sie können zeigen, dass es mit der klassischen thermodynamischen Entropie für eine Reihe von Systemen übereinstimmt und wirklich zeigt, wie Entropie als Maß für die Unsicherheit über die mikroskopischen Details des Systems angesehen werden kann.