Ist Informationsentropie dasselbe wie thermodynamische Entropie?

Pratchetts Zitat scheint sich also eher um Energie als um Entropie zu drehen. Ich nehme an, Sie könnten etwas anderes behaupten, wenn Sie annehmen, dass "Entropie Wissen ist", aber ich denke, das ist genau umgekehrt: Ich denke, dass Wissen ein Sonderfall niedriger Entropie ist. Aber deine Frage ist trotzdem interessant.

Die Entropie$S$in der Thermodynamik bezieht sich auf die Anzahl nicht unterscheidbarer Zustände, die ein System einnehmen kann. Wenn alle nicht unterscheidbaren Zustände gleich wahrscheinlich sind, ist die Anzahl der mit einem System verbundenen "Mikrozustände".$\Omega = \exp( S/k )$, wo die Konstante$k\approx\rm25\,meV/300\,K$bezieht sich auf die Energiemenge, die von thermodynamischen Systemen bei verschiedenen Temperaturen ausgetauscht wird.

Das kanonische Beispiel ist ein Glas Pennies. Angenommen, ich lasse 100 Münzen auf den Boden fallen. Es gibt 100 Möglichkeiten, wie ich Heads-up und den Rest Tails-up haben kann; es gibt$100\cdot99/2$Möglichkeiten, zwei Köpfe zu haben; es gibt$10 \cdot99\cdot98/6$Möglichkeiten, drei Köpfe zu haben; es gibt ungefähr$10^{28}$Möglichkeiten, vierzig Köpfe zu haben, und$10^{29}$Möglichkeiten, fünfzig Köpfe zu haben. Wenn Sie ein Glas Pennys fallen lassen, werden Sie sie nicht zu 3% Heads-up finden, genauso wenig wie Sie vom Blitz getroffen werden, während Sie sich einen Royal Flush austeilen: Es gibt einfach zu viele andere Alternativen.

Die Verbindung zur Thermodynamik entsteht, wenn nicht alle meiner Mikrozustände die gleiche Energie haben, sodass mein System durch Übergänge Energie mit seiner Umgebung austauschen kann. Nehmen wir zum Beispiel an, meine 100 Cent liegen nicht auf dem Boden meiner Küche, sondern auf der Bodenplatte meines Pick-ups mit dem unwuchtigen Reifen. Die Vibration bedeutet, dass jeder Cent umkippen kann, was die Verteilung tendenziell in Richtung 50-50 treibt. Aber wenn es eine andere Wechselwirkung gibt, die Heads-up wahrscheinlicher macht als Tails-up, dann werde ich bei 50-50 nicht aufhören. Vielleicht habe ich einen obsessiven Passagier, der all die Schwänze umdreht. Wenn das Schütteln und zufällige Umdrehen langsam genug ist, dass er sie alle umdrehen kann, ist das effektiv "Nulltemperatur"; Wenn das Schütteln und zufällige Umdrehen so heftig ist, dass sich ein Penny normalerweise umdreht, bevor er den nächsten korrigiert, ist das "unendliche Temperatur". (Dies ist eigentlich ein Teil vondie Definition von Temperatur .)

Die Boltzmann-Entropie, die ich oben verwendet habe,

$$S_B = k_B \ln \Omega,$$ ist genau dasselbe wie die Shannon-Entropie, $$S_S = k_S \ln \Omega,$$ außer dass Shannons Konstante ist$k_S = \frac1{\ln 2}\rm\,bit$, so dass ein System mit zehn Bits Informationsentropie in jedem von sein kann$\Omega=2^{10}$Zustände.

Das ist eine Aussage mit körperlichen Folgen. Angenommen, ich kaufe eine 2-Terabyte-SD-Karte ( anscheinend unterstützt dies der Standard ) und fülle sie mit vierzig Stunden Video von meinen Meerschweinchen, die Heu in Kot verwandeln. Indem Sie die Anzahl der möglichen Zustände der SD-Karte reduzieren$\Omega=2\times2^{40}\times8$Zum einen sagt mir Boltzmanns Definition, dass ich die thermodynamische Entropie der Karte um reduziert habe$\Delta S = 2.6\rm\,meV/K$. Diese Entropiereduzierung muss durch eine gleiche oder größere Entropiezunahme anderswo im Universum ausgeglichen werden, und wenn ich dies bei Raumtemperatur mache, muss diese Entropiezunahme von einem Wärmefluss von begleitet werden$\Delta Q = T\Delta S = 0.79\rm\,eV = 10^{-19}\,joule$.

Und hier stoßen wir auf praktische, experimentelle Beweise für einen Unterschied zwischen Information und thermodynamischer Entropie. Der Stromverbrauch beim Schreiben auf eine SD-Karte beträgt Milliwatt oder Watt, und das Übertragen meines vierzigstündigen Meerschweinchenfilms wird keine kurze Operation sein – das Extra$10^{-19}\rm\,J$, genug Energie, um einen einzelnen Infrarot-Atomübergang anzutreiben, die ich bezahlen muss, um jedes einzelne Bit auf der SD-Karte zu kennen, ist nichts im Vergleich zu den anderen Kosten für den Betrieb des Geräts.

Die Informationsentropie ist ein Teil, aber nicht annähernd die gesamte thermodynamische Entropie eines Systems. Die thermodynamische Entropie enthält Zustandsinformationen über jedes Atom jedes Transistors, aus dem jedes Bit besteht, und in jedem bistabilen System wird es viele, viele mikroskopische Konfigurationen geben, die "an" entsprechen, und viele, viele verschiedene mikroskopische Konfigurationen, die "aus" entsprechen ."

---

Neugierig fragt,

Wie kommt es, dass sich die Shannon-Entropie des Textes eines Shakespeare-Folios nicht mit der Temperatur ändert?

Dies liegt daran, dass jedes effektive Informationsspeichermedium bei einer effektiven Temperatur von Null arbeiten muss – andernfalls kippen Bits um und Informationen werden zerstört. Zum Beispiel habe ich ein Complete Works of Shakespeare, das ungefähr 1 kg Papier ist und eine Informationsentropie von vielleicht einigen Megabyte hat.

Das bedeutet, dass beim Drucken des Buches ein minimaler Mehraufwand an Energie von$10^{-25}\rm\,J = 1\,\mu eV$verbunden damit, diese Wörter in dieser Reihenfolge auf die Seite zu setzen und nicht in irgendeiner anderen. Zu wissen, was in dem Buch steht, reduziertseine Entropie. Zu wissen, ob das Buch zuerst Sonette ist oder zuerst spielt, reduziert seine Entropie weiter. Zu wissen, dass „Trip away/Make no stay/Meet me all by break of day“ auf Seite 158 steht, reduziert seine Entropie noch weiter, denn wenn sich Ihr Gehirn in einem Niedrig-Entropie-Zustand befindet, in dem Sie Midsummer Night's Dream kennen, wissen Sie, dass es so sein muss Beginnen Sie auf Seite 140 oder 150 oder so. Und wenn ich Ihnen jede dieser Tatsachen erzähle und gleichzeitig Ihre Entropie verringere, war dies mit einer zusätzlichen Energie von einem Bruchteil eines Nano-eV verbunden, die vollständig in meinem Gehirnstoffwechsel verloren ging, der mechanischen Energie meiner Finger, der Betriebsenergie meines Computers, der Betriebsenergie meiner Internetverbindung auf die Festplatte im Rechenzentrum von StackExchange, wo diese Antwort gespeichert ist, und so weiter.

Wenn ich die Temperatur dieses Gesamtwerks von 300 K auf 301 K erhöhe, erhöhe ich seine Entropie um$\Delta S = \Delta Q/T = 1\,\rm kJ/K$, was vielen Yottabytes an Informationen entspricht; Das Buch ist jedoch geschickt arrangiert, so dass die desorganisierten Informationen die Anordnung der Wörter auf den Seiten nicht beeinflussen. Wenn ich jedoch versuche, in diesem Buch ein zusätzliches Megajoule Energie zu speichern, dann verwandelt es sich irgendwo auf seinem Weg zu einer Temperatur von 1300 Kelvin in einen Haufen Asche. Asche ist hochentropisch: Es ist unmöglich, die Asche von „Love’s Labors Lost“ von der Asche von „Timon of Athens“ zu unterscheiden.

Die Informationsentropie – die aus einem System entfernt wurde, in dem Informationen gespeichert sind – ist eine winzige Teilmenge der thermodynamischen Entropie, und Sie können Informationen nur in Teilen eines Systems zuverlässig speichern, die effektiv bei Nulltemperatur sind.

---

Ein einatomiges ideales Gas aus beispielsweise Argonatomen kann auch in Untersysteme unterteilt werden, bei denen die Entropie von der Temperatur abhängt oder nicht. Argonatome haben mindestens drei unabhängige Möglichkeiten, Energie zu speichern: Translationsbewegung, elektronische Anregungen und Kernanregungen.

Angenommen, Sie haben ein Mol Argonatome bei Raumtemperatur. Die Translationsentropie ist durch die Sackur-Tetrode-Gleichung gegeben und hängt von der Temperatur ab. Allerdings liegt der Boltzmann-Faktor für den ersten angeregten Zustand bei 11 eV

$$\exp\frac{-11\rm\,eV}{k\cdot300\rm\,K} = 10^{-201}$$ Daher ist die Anzahl der Argonatome im ersten (oder höheren) angeregten Zustand genau null und die Entropie im elektronischen Anregungssektor null. Die elektronische Anregungsentropie bleibt genau null, bis sich die Boltzmann-Faktoren für alle angeregten Zustände zu addieren$10^{-24}$, so dass es im Mittel ein angeregtes Atom gibt; das passiert irgendwo um die Temperatur $$T = \frac{-11\rm\,eV}{k}\ln 10^{-24} = 2500\rm\,K.$$ Wenn Sie also die Temperatur Ihres Argonmols von 300 K auf 500 K erhöhen, ändert sich die Anzahl der angeregten Atome in Ihrem Mol von genau null auf genau null, was rein thermodynamisch unabhängig von der Temperatur eine Null-Entropie-Konfiguration ist Prozess.

Ebenso ist selbst bei Zehntausenden von Kelvin die in den Kernanregungen gespeicherte Entropie null, da die Wahrscheinlichkeit, einen Kern im ersten angeregten Zustand bei etwa 2 MeV zu finden, um viele Größenordnungen kleiner ist als die Anzahl der Atome in Ihrer Probe.

Ebenso ist die thermodynamische Entropie der Informationen in meinen Gesamtwerken von Shakespeare, wenn nicht null, sehr gering: Es gibt eine kleine Anzahl von Textkonfigurationen, die eher einem Gesamtwerk von Shakespeare als einem Herr der Ringe oder einem Ulysses entsprechen oder ein Don Quijote aus dem gleichen Material mit gleicher Masse. Die Informationsentropie ("Shakespeares Complete Works füllen ein paar Megabyte") sagt mir die minimale thermodynamische Entropie, die aus dem System entfernt werden musste , um es in Shakespeares Complete Works zu organisieren, und die damit verbundenen Energiekosten für die Übertragung dieser Entropie an einen anderen Ort; Diese Kosten sind winzig im Vergleich zum gesamten Energie- und Entropieaustausch, der beim Drucken eines Buches anfällt.

Solange die Temperatur meines Buches deutlich unter 506 Kelvin bleibt , ist die Wahrscheinlichkeit, dass irgendein Buchstabe im Buch spontan wie ein anderer Buchstabe oder wie ein unleserlicher Fleck aussieht, null, und Temperaturänderungen sind reversibel .

Dieses Argument legt übrigens nahe, dass, wenn Sie Informationen in einem quantenmechanischen System speichern wollen, Sie diese im Grundzustand speichern müssen, den das System bei Nulltemperatur einnehmen wird; Daher müssen Sie ein System finden, das mehrere entartete Grundzustände aufweist. Ein Ferromagnet hat einen entarteten Grundzustand: Die Atome im Magneten wollen sich an ihren Nachbarn ausrichten, aber die Richtung, in der sie sich ausrichten, ist nicht eingeschränkt. Sobald ein Ferromagnet eine Orientierung "gewählt" hat, vielleicht mit Hilfe eines externen Ausrichtungsfeldes, ist diese Richtung stabil, solange die Temperatur wesentlich unter der Curie-Temperatur liegt - das heißt, geringfügige Temperaturänderungen verursachen keine Entropie. zunehmende Schwankungen in der Ausrichtung des Magneten.Sie sind vielleicht mit Informationsspeichermechanismen vertraut, die nach diesem Prinzip funktionieren.

Formal sind die beiden Entropien dasselbe. Die Gibbs-Entropie in der Thermodynamik ist

$$S = -k_B \sum p_i \ln p_i$$ während die Shannon-Entropie der Informationstheorie entspricht $$H = -\sum p_i \log_2 p_i.$$ Diese sind bis auf einige numerische Faktoren gleich. Bei einem gegebenen statistischen Ensemble können Sie seine (thermodynamische) Entropie mithilfe der Shannon-Entropie berechnen und dann mit Konstanten multiplizieren.

---

In gewisser Weise haben Sie jedoch Recht. Wenn Menschen über die Shannon-Entropie sprechen, verwenden sie sie oft nur, um Dinge zu zählen, die wir intuitiv als Informationen wahrnehmen. Zum Beispiel könnte man sagen, dass die Entropie eines Transistors, der mit gleicher Wahrscheinlichkeit auf „Ein“ oder „Aus“ geschaltet wird, 1 Bit beträgt.

Aber die thermodynamische Entropie des Transistors ist tausend-, wenn nicht millionenfach höher, weil sie alles zählt, nämlich die Konfigurationen aller Atome, aus denen der Transistor besteht. (Wenn Sie es Ihren Programmiererkollegen erklären möchten, sagen Sie, dass sie nicht zählen, ob jedes einzelne Atom "an" oder "aus" ist.)

Im Allgemeinen ist die Menge an "intuitiven" Informationen (wie Bits oder Wörter in einem Buch) ein völlig vernachlässigbarer Bruchteil der gesamten Entropie. Die thermodynamische Entropie einer Bibliothek ist ungefähr die gleiche wie die eines Lagerhauses mit leeren Büchern.

Ehrlich gesagt glaube ich, dass diese Frage noch nicht wirklich geklärt ist, oder dass es zumindest in der wissenschaftlichen Gemeinschaft noch keinen Konsens darüber gibt, wie die Antwort lautet.

Mein Verständnis der Beziehung ist, glaube ich, etwas anders als bei knzhou, rob oder CuriousOne. Mein Verständnis ist, dass die thermodynamische Entropie als eine bestimmte Anwendung der Informationsentropie betrachtet werden kann. Insbesondere kann man die Prinzipien der Information und Informationsentropie anwenden, um zu fragen, wie viel man über den Zustand eines Quantensystems weiß, und unter bestimmten Bedingungen scheint die thermodynamische Boltzmann-Entropie wiederhergestellt zu werden.

Als konkretes Beispiel untersucht ein aktuelles Experiment zu dieser Frage (1) die "Verschränkungsentropie" eines wechselwirkenden Quantensystems, das eine Anwendung der Informationsentropie auf einen Quantenzustand ist. Unter geeigneten Umständen (Betrachtung der Einzelteilchendichtematrix eines thermalisierten Quantenzustands) erweist sich diese Informationsentropie als identisch mit der thermodynamischen Boltzmann-Entropie.

Aus dieser Sicht ist die Thermodynamik "nur" eine spezielle Anwendung von Informationsprinzipien. Natürlich kann man Informationsprinzipien auch auf ganz andere Systeme wie Bücher und Radiokommunikation und so weiter anwenden. Infolgedessen sind thermodynamische und Informationsentropien nicht identisch, sondern zwei besondere Anwendungen desselben allgemeinen Prinzips.

Diese Meinung wird jedoch keineswegs von allen geteilt, und während diese Korrespondenz in einigen Fällen wie dem obigen Experiment zu funktionieren scheint, bleibt sie in einem allgemeineren Rahmen zu erklären.

Zwei etwas verwandte Fragen, die Sie vielleicht interessant finden:

Spontane Umwandlung von Wärme in Arbeit bei negativen Temperaturen

Welche Phänomene sind für die irreversible Zunahme der Entropie verantwortlich?

---

Anhang: Entropiehierarchie

Hier ist die Hierarchie der Entropien, die ich hier behaupte (ohne Konstanten wie$k_B$):

1. Shannon-Entropie:$S_\textrm{Shannon}=− \sum_i p_i \log p_i$. Beschreibt ungefähr, wie viel man über den Zustand eines Systems weiß$i$die möglichen Zustände sind. Dieses System könnte beispielsweise eine Folge binärer Bits sein.

2. Wendet man dies auf einen unbekannten Quantenzustand an, erhält man die Gibbs-Entropie:$S_\textrm{Gibbs}=− \sum_i p_i \log p_i$, bei dem die$i$sind nun konkret die möglichen Quantenzustände des Systems. Damit dieser Ausdruck physikalisch Sinn macht,$i$müssen die Eigenzustände des Systems in einer Basis sein, in der die Dichtematrix diagonal ist *. Mit dieser Vorgabe$S_\textrm{Gibbs}$ist identisch mit der Von-Neumann-Entropie eines Quantenzustands:$S_\textrm{VN}=− \text{tr}(\rho \log \rho)$, mit$\rho$die Dichtematrix.

3. Die Verschränkungsentropie ist einfach eine Anwendung von$S_\textrm{VN}$zu einer bestimmten räumlichen Teilmenge eines (normalerweise isolierten) Systems:$S_{EE,A}=− \text{tr}(\rho_A \log \rho_A)$, wo$\rho_A$ist die Dichtematrix, die sich aus der partiellen Spur über die Dichtematrix eines großen Systems ergibt, wobei nur einige lokale Subsysteme beibehalten werden. Mit anderen Worten, es ist die Entropie eines bestimmten Teils eines größeren Systems.

4. Die höchst nicht triviale Behauptung in (1) (und anderswo) ist die für ein thermalisiertes System, die$S_{EE,A}$eines kleinen lokalen Subsystems$\rho_A$entspricht der thermodynamischen Boltzmann-Entropie, definiert als:$S_\textrm{Boltz}=-\sum_i(p_{i,\textrm{th}} \log p_{i,\textrm{th}})$, mit$p_{i,\textrm{th}}=\frac{e^{-E_i/k_B T}}{\sum_i e^{-E_i/k_B T}}$,$i$als die möglichen Zustände von$\rho_A$, und$k_B T$so gewählt, dass das System die richtige Durchschnittsenergie hat. Diese Behauptung ist übrigens als „Eigenzustands-Thermalisierungshypothese“ bekannt.

* Diese Anforderung ist nicht allzu mysteriös: Es liegt einfach daran, dass die Entropie einige "nette" Eigenschaften wie die Additivität des Zustands hat$i$muss unkorreliert sein.

Bisher gab es einige aufschlussreiche Antworten zur statistischen mechanischen Entropie, aber bisher wurde die thermodynamische Entropie nur von CuriousOne in den Kommentaren erwähnt, daher dachte ich, es wäre nützlich, eine kurze allgemeine Erinnerung an den feinen Unterschied zu geben zwischen dem Begriff der Entropie in der Thermodynamik und den Formeln, die aus der statistischen Mechanik und der Codierungstheorie stammen.

Ein Ansatz zum Verständnis der thermodynamischen Entropie erfolgt über die grundlegenden (oder technologischen) Einschränkungen der maximal erreichbaren Effizienz von Wärmekraftmaschinen. Band 1 der Feynman-Vorlesungen enthält einen Abschnitt über Thermodynamik, der eloquent beschreibt, wie der Carnot-Wirkungsgrad eine universelle Temperaturskala liefert$T$(bis auf eine beliebige Wahl der Einheiten), so dass die Menge$\frac{d Q}{T}$ist das Differential einer Zustandsfunktion$S$das nennt man Entropie. Da sie im Wesentlichen durch die Leistung von Wärmekraftmaschinen definiert wird, ist die thermodynamische Entropie nur empfindlich gegenüber Merkmalen eines Systems, die in der Lage sind, Wärme zu absorbieren und sich so zu entspannen, dass Arbeit extrahiert werden kann.

In diesem Sinne ist die informationstheoretische Entropie ein Maß dafür, welche Merkmale Sie kennen*, während Sie sich die thermodynamische Entropie als ein Maß dafür vorstellen können, welche Merkmale auf kleinen Skalen kollektiv Systeme auf größeren Skalen beeinflussen.

*Informationstheoretische Entropie und statistisch-mechanische Entropie sind (an sich) im Wesentlichen nur Volumenmaße für einen Raum möglicher Ergebnisse.