Wie hängen verschiedene Definitionen von Entropie zusammen?

An vielen Stellen im Internet habe ich versucht, Entropie zu verstehen.

Es werden viele Definitionen vorgestellt, von denen ich drei formulieren kann (bitte korrigieren Sie mich, wenn eine Definition falsch ist):

  1. Entropie = Unordnung, und Systeme neigen zur größtmöglichen Unordnung
  2. Entropie = Energieverteilung, und Systeme streben nach möglichst großer Energieverteilung
  3. Entropie = Informationen, die zur Beschreibung des Systems benötigt werden, und Systeme werden in der Regel in weniger Zeilen beschrieben
  4. Entropie = statistischer Modus, und das System tendiert dazu, in einen mikroskopischen Zustand überzugehen, der einer der am häufigsten vorkommenden Zustände ist, die es besitzen kann.

Jetzt habe ich diese Gegenbeispiele im Kopf:

  1. Unordnung => wie wäre es mit einer Schneeflocke? Was ist Unordnung? Wie einigen wir uns darauf, was geordnet und was ungeordnet ist? Denn für mich ist eine Schneeflocke ein perfektes Beispiel für Ordnung.
  2. Energieverteilung => warum kam es dann überhaupt zum Urknall? Wie sie sagen, war das Universum ein winziger Energiepunkt, der gleichmäßig verteilt war. Jetzt ist das Universum eine Wiederholung von Energiedichte und Leere.
  3. Information => wir können das Universum vor dem Urknall in einem einfachen Satz beschreiben: ein Energiepunkt, X Grad Kelvin . Aber wir brauchen Milliarden von Milliarden Beschreibungszeilen, um das Universum beschreiben zu können.
  4. Modus => Auch hier hatten wir vor dem Urknall oder sogar in frühen Epochen des Universums einheitliche Zustände, die die am häufigsten vorkommenden Zustände waren.

Ich stecke bei dieser sehr grundlegenden philosophischen Definition fest.

Ich kann natürlich das Beispiel "Tasse Kaffee" oder das Beispiel "Dein Zimmer wird mit der Zeit unordentlich" verstehen. Das sind sehr deutliche Beispiele. Aber ich bleibe bei diesen Beispielen hängen. Können Sie mir das bitte erklären?

Sie versuchen, die Anwendung der Entropie auf zu viele Bereiche abzudecken, von der Kosmologie bis zur Informationstheorie. Schlagen Sie vor, sich auf ein oder zwei zu konzentrieren.
@BobD Sollten physikalische Gesetze nicht allumfassend sein? Vielleicht habe ich deinen Kommentar nicht verstanden.
@BobD, ich denke, dies ist einer der seltenen Fälle, in denen es nicht möglich ist, sich auf eine einzelne Anwendung zu konzentrieren, da die Frage im Wesentlichen mit den anscheinend zu vielen Definitionen zusammenhängt. Das ist eine vernünftige und gute Frage.
Sie haben vergessen, die ursprüngliche Clausius / thermodynamische Definition der Entropie zu erwähnen, als das Wort "Entropie" buchstäblich erfunden wurde. Es ist vielleicht weniger aufschlussreich, aber es ist die echte Entropie, von der alle statistischen Erklärungen inspiriert sind.
physical.stackexchange.com/q/244621 wird einige Ihrer Fragen zur Entropie im frühen Universum beantworten.
@SaeedNeamati: Unabhängig davon, ob physikalische Gesetze allumfassend sind oder nicht, bedeutet dies nicht, dass ein Gesetz über X von Natur aus für jede mögliche Bedeutung des Wortes X gilt. Witzigerweise erklärt die Schwerkrafttheorie in keiner Weise die Schwerkraft von die aktuelle politische Situation in den USA. „Schwerkraft“ hat unterschiedliche Bedeutungen, die sich jeweils auf ein völlig anderes Konzept beziehen, obwohl sie im übertragenen Sinne durch „Gewicht“ verbunden sind.
"Unordnung => wie wäre es mit einer Schneeflocke? Was ist Unordnung?" Die Frage ist nicht, wie eine Schneeflocke unordentlich ist, sondern eher als wenn ich ein paar Stöcke ungeordnet auf den Boden fallen lasse, ist es astronomisch unwahrscheinlich, dass sie die Form einer Schneeflocke (oder einer anderen punktsymmetrischen Form) annehmen.
Ich möchte mit diesem Link zur Verwirrung beitragen: phfaist.com/entropyzoo . Es gibt viele zusammenhängende Definitionen von Entropie.
Eine Schneeflocke ist kein geschlossenes System. Wenn alle Teile eines Systems zur Entropie tendieren müssten, gäbe es keine Schneeflocken, kein Leben.
Die am wenigsten schlechte, prägnante Beschreibung, die ich kenne, ist einfach "Mangel an Informationen".
Ich würde Entropie im Allgemeinen als "ein statistisches Maß für die Unwahrscheinlichkeit einer bestimmten Anordnung und damit als ein Maß für die darin enthaltene Ordnungsmenge" definieren . Diese Definition erfordert keine Energie oder irgendetwas Physisches.
Physikalische Gesetze sind nur in diesem Universum allumfassend. Urknall ist vor dem Universum. Diese physikalischen Gesetze, die wir kennen, galten nicht einmal kurz nach dem Urknall. Komisch, dass niemand darüber spricht. Liege ich falsch?
"Weil eine Schneeflocke für mich ein perfektes Beispiel für Ordnung ist?" Eine Schneeflocke ist buchstäblich eine bekannte Metapher für Unordnung/Einzigartigkeit. Schneeflocken folgen Regeln, wenn sie wachsen (120-Grad-Winkel usw.), dies ergibt bestimmte "Muster". Die Anzahl der Permutationen und Kombinationen dieser Muster ist jedoch astronomisch.
Für ein einfacheres Beispiel. Münzwürfe führen zufällig zu Kopf oder Zahl. Ein Münzwurf führt zum Beispiel selten zu Banana Split Sundae. Dies macht Münzwürfe nicht zu einem perfekten Beispiel für Ordnung.
Zunächst sollten Sie verstehen, dass all die verschiedenen Interpretationen, die Sie erwähnt haben, die Geschichte der Entropie darstellen. Es entstand aus einer Forschung über die Effizienz der Wärmekraftmaschine im achtzehnten Jahrhundert, aber mit fortschreitender Wissenschaft änderte sich die Art und Weise, wie es gesehen und interpretiert wurde. Zuerst kam die Energieverteilung, dann kamen mit Boltzmann Statistik und Chaos (um die Nichtumkehrbarkeit physikalischer Phänomene zu erklären), dann kamen Informationen (als die Quantenphysik Anleihen bei der Informationstheorie machte), aber die letzte Interpretation ist noch in Arbeit.
Ihre Nummer 3 ist rückwärts - Entropie ist Informationsmangel. Systeme, die zu einer höheren Entropie neigen, können, wenn Sie möchten, als „Systeme neigen dazu, chaotisch zu sein und viele Zeilen zu beschreiben“ beschrieben werden.
Diese Frage scheint ehrlich gesagt zu weit gefasst zu sein (ich weiß, dass es bereits einige gute Antworten gibt, also möchte ich nicht markieren ...) - um das OP ausreichend zu beantworten, scheint es erforderlich zu sein, ein Buch zu schreiben.

Antworten (8)

Ihre Sorge über die zu vielen Definitionen der Entropie ist wohlbegründet. Leider gibt es eine peinliche Verwirrung, selbst in der wissenschaftlichen Literatur zu einem solchen Thema. Die Antworten, die Sie möglicherweise sogar auf den SE-Sites finden, spiegeln diesen Stand der Dinge wider.

Die kurze Antwort ist, dass es nichts Besseres als ein einzigartiges Konzept der Entropie gibt . Es gibt viele verschiedene, aber zusammenhängende Konzepte, die auch anders benannt werden könnten. Sie haben eine direkte oder indirekte Beziehung zur thermodynamischen Entropie, obwohl sie ohne zusätzliche Annahmen normalerweise nicht damit übereinstimmen.

Nur eine unvollständige Liste verschiedener Konzepte, die alle benannte Entropie enthält

  1. Thermodynamische Entropie.
  2. Dynamische Systementropie.
  3. Statistische Mechanik Entropie.
  4. Entropie der Informationstheorie.
  5. Algorithmische Entropie.
  6. Quantenmechanik (von Neumann) Entropie.
  7. Gravitations- (und Schwarze Löcher) Entropie.

Obwohl alle diese Größen Entropie genannt werden , sind sie nicht völlig gleichwertig. Eine schematische Liste der Bandbreite von Systemen, die sie anwenden können, und einige gegenseitige Beziehungen könnten helfen, eine mentale Landkarte in einer so verwirrenden konzeptuellen Landschaft zu organisieren.

Lassen Sie mich einen vorläufigen Haftungsausschluss hinzufügen. Ich werde keine umfassende Abhandlung über jede mögliche Entropie schreiben. Die Liste ist als ungefähre Karte gedacht. Aber auch wenn mir vielleicht ein wichtiger Zusammenhang fehlt (ich behaupte nicht, ein Experte für jede Form von Entropie zu sein!), sollte das Gesamtbild stimmen. Es sollte eine Vorstellung von der generischen Nichtäquivalenz zwischen verschiedenen Entropie geben.

1. Thermodynamische Entropie

Es kann auf makroskopische Systeme im thermodynamischen Gleichgewicht oder sogar Nichtgleichgewichtssysteme angewendet werden, vorausgesetzt, dass für kleine Regionen des Systems eine Art lokales thermodynamisches Gleichgewicht (LTE) gerechtfertigt werden kann. LTE erfordert, dass jede Unterregion groß genug ist, um den Effekt relativer Schwankungen zu vernachlässigen (lokale thermodynamische Größen müssen gut definiert sein), und die Relaxationszeiten sind schneller als typische dynamische Entwicklungszeiten. Die übliche Thermodynamik erfordert die Möglichkeit, die vom System ausgetauschte Arbeit und Wärme zu steuern, und hängt entscheidend von einer zugrunde liegenden mikroskopischen Dynamik ab, die das System in Richtung Gleichgewicht treiben kann.

2. Dynamische Systementropie

Die Gegenwart und andere Elemente sollten Unterlisten enthalten. Unter diesem Namen findet man Entropien für abstrakte dynamische Systeme (zum Beispiel die von Kolmogorov und Sinai eingeführte metrische Entropie ) und kontinuierliche chaotische dynamische Systeme. Hier erfordert die entsprechende Entropie keinen Gleichgewichtszustand, und neuere Vorschläge für Nichtgleichgewichtsentropien (ein Beispiel ist hier ) können unter diesem Titel klassifiziert werden.

3. Entropien der statistischen Mechanik

Anfänglich wurden sie in jedem Ensemble der statistischen Mechanik eingeführt, um eine Verbindung zum thermodynamischen Konzept herzustellen. Im Prinzip gibt es für jedes andere Ensemble eine unterschiedliche Entropie. Solche unterschiedlichen Ausdrücke stimmen für eine breite Klasse von Hamiltonoperatoren nur an der sogenannten thermodynamischen Grenze überein(TL), also für Systeme mit makroskopisch vielen Freiheitsgraden. Beachten Sie, dass Hamiltonianer einige Bedingungen erfüllen müssen, damit TL existieren könnte. Abgesehen von der Koinzidenz von Entropien in verschiedenen Ensembles ist TL auch erforderlich, um sicherzustellen, dass die Entropien der statistischen Mechanik einige Schlüsseleigenschaften der thermodynamischen Entropie erfüllen, wie z. B. Konvexitätseigenschaften oder Ausdehnung. Daher könnte man sagen, dass die Entropie der statistischen Mechanik eine Verallgemeinerung der thermodynamischen Entropie ist, mehr als äquivalent.

3. Entropie der Informationstheorie

Diese Entropie ist die bekannte Formel von Shannon

S ich N F Ö = ich P ich Protokoll P ich
Wo P ich sind die Wahrscheinlichkeiten eines vollständigen Satzes von Ereignissen.

Es ist klar, dass S ich N F Ö erfordert nur eine probabilistische Beschreibung des Systems. Es ist kein thermodynamisches Gleichgewicht erforderlich, die Energie eines Zustands, und es besteht im Allgemeinen kein Zusammenhang mit Arbeit und Wärme. S ich N F Ö könnte als Verallgemeinerung der statistischen mechanischen Entropie angesehen werden, was nur im Fall einer Gleichgewichtswahrscheinlichkeitsverteilungsfunktion thermodynamischer Variablen damit zusammenfällt. Jedoch, S ich N F Ö auch für Systeme ohne Eigendynamik definiert werden.

4. Algorithmische Entropie

In der vorliegenden Liste ist es die einzige Entropie , die einer einzelnen (mikroskopischen) Konfiguration zugeordnet werden kann. Seine Definition erfordert keine großen Systeme, Wahrscheinlichkeitsverteilung, intrinsische Dynamik oder Gleichgewicht. Sie ist ein Maß für die Komplexität einer Konfiguration , ausgedrückt durch die Länge ihrer kürzesten Beschreibung.

Die Beziehung zwischen algorithmischer Entropie und Informationsentropie besteht darin, dass bei einem Ensemble von Konfigurationen der Durchschnittswert (auf dem Ensemble) der algorithmischen Entropie eine gute Schätzung der Informationsentropie liefert. Allerdings muss man berücksichtigen, dass die algorithmische Entropie eine nicht berechenbare Funktion ist.

6. Quantenmechanik (von Neumann) Entropie

Obwohl es sich vom formalen Standpunkt unterscheidet, kann es als Verallgemeinerung von Shannons Ideen zur Beschreibung eines Quantensystems angesehen werden. Begriffe wie thermisches Gleichgewicht oder Wärme spielen dabei jedoch keine Rolle.

7. Gravitations- (und Schwarze Löcher) Entropien

Eine Reihe von Sternen in einer Galaxie kann man sich zumindest in LTE als Systeme vorstellen. Ihre Thermodynamik ist jedoch ziemlich eigenartig. Erstens ist es nicht umfangreich (Energie wächst schneller als das Volumen). Die Äquivalenz der Ensembles gilt nicht, und es ist bekannt, dass die mikrokanonische spezifische Wärme negativ ist. Ein ähnliches, aber nicht genau gleiches Verhalten wird für die von Beckenstein vorgeschlagene Entropie des Schwarzen Lochs gefunden. In diesem Fall ist die Größe, die die Rolle der Entropie spielt, der Bereich des Horizonts der Ereignisse des Schwarzen Lochs. Obwohl gezeigt wurde, dass diese Entropie viele Eigenschaften der thermodynamischen Entropie teilt und innerhalb der Stringtheorie durch Zählen der Entartung geeigneter Zustände bewertet werden kann, muss ihre Verbindung zur thermodynamischen Entropie noch hergestellt werden

Was ist mit Unordnung?

Es bleibt die Beziehung zwischen Entropien (Plural) und Unordnung zu diskutieren.

Jeder Entropie kann ein spezifischer Begriff der Unordnung zugeordnet werden . Aber es ist leicht zu erraten, dass es im Allgemeinen nicht für alle gleich sein wird.

Die einzige Störung, die mit der thermodynamischen Entropie verbunden ist, ist die Störung, die damit zusammenhängt, wie umfangreiche Mengen in verschiedenen Subsystemen desselben makroskopischen Zustands gespeichert werden. Innerhalb der Thermodynamik ist ein wohlgeordneter makroskopischer Zustand ein Zustand, in dem große Mengen räumlich konzentriert sind. Die maximale Unordnung fällt mit einer Streuung der umfangreichen Zustandsvariablen zusammen, um in jedem Teilvolumen die gleiche Temperatur, den gleichen Druck und das gleiche chemische Potential sicherzustellen.

Innerhalb der klassischen statistischen Mechanik kann man Unordnung mit der Anzahl verfügbarer Mikrozustände im Phasenraum in Verbindung bringen. Beachten Sie jedoch, dass diese Unordnung im Allgemeinen nichts mit der üblichen Definition räumlicher Ordnung zu tun hat. Der Grund hängt mit der nicht intuitiven Rolle der Wechselwirkungen zwischen Teilchen und der Tatsache zusammen, dass die statistische mechanische Entropie mit dem Zählen der Anzahl von Mikrozuständen zusammenhängt.

Wahrscheinlich ist die Entropie mit dem engsten Zusammenhang mit der üblichen Bedeutung von Unordnung die algorithmische Entropie. Aber das ist auch am schwierigsten auszuwerten und am weitesten von der thermodynamischen Entropie entfernt.


Ein kleiner Nachtrag

Eine pädagogische Veranschaulichung der vollständigen Entkopplung zwischen Konfigurationsordnung und Entropie liefert die Sackur-Tetrode-Formel für die klassische ideale Gasentropie . Es zeigt, dass die Entropie direkt proportional zur Masse der Atome ist, während der zugängliche Konfigurationsraum und die Wahrscheinlichkeit jeder räumlichen Konfiguration gleich sind.

"Unordnung" (auch?) hat mit Information zu tun: Eine zufällige Anordnung braucht mehr Informationen, um sie vollständig zu beschreiben, als eine "geordnetere".
@kutschkem, sicher. Algorithmische Entropie kann direkt mit Information verbunden werden. Um Zweideutigkeiten zu vermeiden, muss man jedoch genau definieren, was Information, Zufall und Unordnung bedeuten. Leider verwenden wir diese Begriffe im Alltag recht vage. Die Lehre aus den Entropien ist, dass wir, wenn wir diese Begriffe in wissenschaftlichen Sätzen verwenden wollen, klar angeben müssen, welche Definition wir verwenden.
Es gibt sogar eine „evolutionäre Entropie“: link.springer.com/content/pdf/10.1007/s11538-008-9382-6.pdf
Um die Liste der verschiedenen Entropiedefinitionen und ihrer Beziehungen zu erweitern: phfaist.com/entropyzoo .
Ich habe einen Online-Vortrag von Hamming gesehen, und ich glaube, er hat gesagt: Zwei Dinge gleich zu nennen, bedeutet nicht, dass sie in irgendeiner Weise verwandt sind (in Bezug auf Informationsentropie).
Ich habe das Gefühl, dass diese gut gemeinte Antwort nur zur Verwirrung beiträgt. Viele Ihrer Beispiele sind einfach Sonderfälle anderer, keine unabhängigen Definitionen. Vielleicht haben die Mathematiker und Informatiker ihre eigenen, nicht verwandten Dinge, die „Entropie“ genannt werden, aber in der Physik gibt es wirklich nur eine Definition.
Das Problem ist, dass diese eine Definition von Popsci auf viele verschiedene Arten beschrieben wird (im Grunde als „Unordnung“, „Chaos“, „Zerstreuung“, „Ignoranz“ oder „thermische Energie“), die alle nicht vollständig sind Bild ohne weiteren Kontext. Aber die Definition selbst ist eindeutig.
@knzhou, sorry, aber ich bin anderer Meinung. Wo sehen Sie einen Sonderfall, wenn Sie eine BH-Entropie haben, die eine konvexe Funktion einer umfangreichen Variablen ist, während die thermodynamische Entropie eine konkave Funktion ihrer natürlichen Variablen ist? Nur zwei Beispiele aus der Physik. Gibt es wirklich nur eine Definition?
@knzhou, hinter jeder Größe namens Entropie steckt tatsächlich ein gemeinsames Konzept. Dies bedeutet jedoch nicht, dass wir Anwendungen derselben allgemeinen Idee frei mischen können. Auch dynamisches System ist ein allgemeines vereinheitlichendes Konzept. Summieren wir den Positionsvektor des Massenschwerpunkts eines Planeten zu einer Wellengleichungslösung? Sagen wir nicht, dass sie verschiedene dynamische Systeme sind? Dasselbe gilt für die Entropie. Auch wenn es eine gemeinsame Grundidee gibt, sprechen wir immer noch von Entropien und dürfen sie im Allgemeinen nicht kombinieren.
Die Entropie eines Schwarzen Lochs ist genau die gleiche Art von Entropie wie die gewöhnliche thermodynamische Entropie ... wenn ein Schwarzes Loch Entropie hat S , und es verdunstet, und Sie fangen die gesamte Hawking-Strahlung in einer Kiste ein, das Zeug in der Kiste hat thermodynamische Entropie S . Die Tatsache, dass ein Schwarzes Loch weniger ausgedehnte Variablen hat, spielt keine Rolle und ist sowieso nicht einmal wahr, da sie Drehimpuls und Ladung tragen können.
Ebenso ist die Entropie eines Quantensystems in jeder Hinsicht dasselbe wie die thermodynamische Entropie; In Wärmekraftmaschinen mit Quantensystemen kann man sie gegeneinander austauschen. Wenn sie wirklich ganz anders wären, hätten die Physiker ihnen nicht die gleichen Namen gegeben.
@knzhou. Ich habe nie geschrieben, dass Entropien völlig unterschiedlich sind. Ich habe nur betont, dass sie ohne zusätzliche Annahmen [...] nicht übereinstimmen . Ich glaube, es ist eine faire Aussage, die mit den Tatsachen über den konzeptuellen Status der verschiedenen Konzepte mit dem Namen "Entropie" übereinstimmt. Sicher wissen Sie, dass Formeln mit dem Namen „Entropie“ in verschiedenen Ensembles miteinander und mit der Thermodynamik nur unter der zusätzlichen Bedingung des thermodynamischen Limes kompatibel sind.

Der Grund, warum Entropy so viele Beschreibungen hat, liegt nicht daran, dass es so konzipiert wurde. Niemand hat mit all diesen Dingen namens Entropie angefangen.

Entropie begann mit einer Sache. Und dann wurde ein Haufen anderer Dinge gefunden, die sowohl mathematisch als auch physikalisch mit dieser einen Sache verwandt waren.

Vor langer Zeit wurde beobachtet, dass alle nützliche Energie letztendlich in nutzlose und diffuse Wärme umgewandelt wird. Dieser Prozess wurde Entropie genannt. Sie wussten, dass es passiert ist. Sie wussten nicht warum.

Das ist also der Anfang. Entropie war, als sie ursprünglich benannt wurde, nur eine Beschreibung von etwas, das passiert, wenn Sie in das Universum stochern und sich ansehen, was passiert. Diese Energie wird zu nutzloser Abwärme.

Jede andere Definition von Entropie ist entweder darauf zurückzuführen, dass es eine Möglichkeit war, zu beschreiben, warum oder wie dies geschieht, oder weil die Mathematik mit anderer Entropie-Mathematik übereinstimmte. Und überraschend oft hat diese Aneinanderreihung von Mathematik tatsächlich eine physikalische Bedeutung.

Dies ist als die unvernünftige Effektivität der Mathematik in den Naturwissenschaften bekannt ; mathematische Muster erklären weiterhin Dinge über das Universum, und naiverweise ist das sehr überraschend und unvernünftig.


Also zurück zur Entropie. Wir beginnen mit der Beobachtungswissenschaft. Das mit der Abwärme:

Es wurde beobachtet , dass Wärme von heißen Dingen zu kalten Dingen fließt. Dies wurde mathematisch mit Werten wie Temperatur und Wärmefluss modelliert. Dies ist ein Gesetz der Entropie, dass Wärmeenergie von heißen zu kalten Dingen fließt und nicht umgekehrt. Daraus kann man eine wahnsinnige Menge an Beschreibungskraft über das Universum generieren.

Dann kommt Boltzman, der diesen „Wärmefluss“ nimmt und ihn abstrakter beschreibt. Er beschreibt "Makrostates"; etwas, das wir in unserem gewählten Maßstab beschreiben können. Sie teilen Ihre Beschreibung dessen, was passieren könnte, in eine Reihe von Makrozuständen auf (so viele oder so wenige, wie Sie möchten).

In jedem Makrozustand gibt es viele, viele (in unserem Maßstab) nicht unterscheidbare "Mikrozustände", die den "gleichen" Makrozustand erzeugen.

Ein Mikrozustand ist ein Mikrozustand, denn obwohl er sich von anderen Mikrozuständen unterscheidet, ist es uns egal, wann wir unsere Makrozustände ursprünglich beschrieben haben.

Zum Beispiel ist „es gibt einen Tisch im Raum“ ein Makrozustand. Die Kratzer auf dem Tisch, die genaue Position der Termite darin, die aktuelle Geschwindigkeit des Kohlenstoffatoms im geometrischen Zentrum des Tisches – all das wird nicht durch meinen Makrozustand beschrieben. Also nennen wir alle tatsächlichen, physikalischen Zustände, die wir in diesen Makrozustand gepackt haben, Mikrozustände.

Wenn Sie diese Mikrozustände in jedem Makrozustand zählen , stellen Sie fest, dass sich ein geschlossenes System fast immer von den selteneren in die häufigeren "Makrozustände" bewegt. Und das reicht aus, um die Energieübertragung von heißen auf kalte Gegenstände zu beschreiben; Die Anzahl der Mikrozustände in zwei lauwarmen Objekten ist wahnsinnig höher als die Anzahl der Mikrozustände, die ein heißes und ein kaltes Objekt beschreiben.

Das ist merkwürdig. Aber es stellt sich heraus, dass, wenn wir tatsächlich gehen und zählen , wie viele Zustände ein gegebener Makrozustand hat, anstatt „Tisch im Raum hat 10 Milliarden Zustände“ und „Tischreste hat 15 Milliarden Zustände“ zu bekommen – also die beiden Zahlen relativ ähnlich sind, bekommen wir etwas Verrücktes wie "Trümmerfall hat 10 1000000 mal so viele Mikrozustände als die Tabelle." (Die genaue Zahl ist nicht genau, der Punkt ist, dass es ein lächerlich großer Faktor ist, kein kleiner)

Das ist so wahr, dass wir am Ende die Anzahl der Mikrozustände messen, indem wir den Logarithmus nehmen. Wir erhalten also, dass der Tisch X Entropie hat und der Schutt X+1000000 Entropie. Nur noch eine Million Entropieeinheiten mehr; aber weil dies auf einer exponentiellen Skala ist, ist das tatsächlich so 10 1000000 mal mehr Staaten.

Diese statistische Beschreibung der Entropie stimmt mit der früheren überein – sie erklärt, warum Wärmeenergie von heißen zu kalten Objekten fließt und warum nützliche Energie schließlich als „nutzlose“ diffuse Abwärme abgegeben wird.

Seltsam. Aber nicht seltsam genug. Jetzt wird es seltsam.

Abseits der Mathematik arbeitete jemand an einem Thema namens Informationstheorie. Dies ist nützlich, um beispielsweise herauszufinden, wie mehr Informationen über ein Draht- oder Funksignal übertragen werden können. Wie viel können Sie senden? Können Sie dieses Protokoll mit einem verbessern, das mehr sendet? Wie beheben Sie Fehler, die durch zufälliges Rauschen verursacht werden? Wie stark können Sie einen englischen Satz, ein Musikstück oder ein Bild komprimieren und danach immer noch das Original zurückerhalten?

Shannon generierte ein Maß an Informationen in einem System. Und erstaunlicherweise funktioniert es am Ende wie die physikalische Entropie; die gleichen mathematischen Gleichungen regeln beide. Und mit Arbeit können Sie die Shannon-Informationsentropie auf physikalische Weise mit der statistischen Boltzman-Entropie verbinden.

Von dort erhalten Sie weitere Abstraktionen und Remixe. Dinge, die sich in einer neuen Domäne "wie" Entropie verhalten, werden als Entropie bezeichnet . Und oft, wenn man es mit der makroskopischen Physik und der Wärmeübertragung verbindet, ist es das gleiche Phänomen und folgert "Energie neigt dazu, nutzlos zu werden, diffuse Wärme".


Nun, ein Teil Ihrer Verwirrung besteht darin, dass Sie auf den Urknall zurückblicken und sagen: "Aber das war ein Zustand mit wirklich niedriger Entropie!".

Und ja, das war es. Wir werden eine viel niedrigere Entropie haben als das Universum, als der Urknall stattfand.

Warum ist der Urknall passiert? Das wird nicht durch Entropie erklärt. Die Entropie sagt uns, warum der Urknall zu uns führt und warum der Urknall ein Punkt mit extrem niedriger Entropie sein muss. Nicht jedes Stück Realität wird durch jedes Stück wissenschaftliche Theorie erklärt. Um die "Ursprünge" des Urknalls zu untersuchen, müssen Sie mehr als nur die Gesetze der Entropie anwenden.

Entropie gilt für ein geschlossenes System; Teile dieses Systems können eine verringerte Entropie haben, aber nur auf Kosten einer stärkeren Erhöhung der Entropie an anderer Stelle im System. Schneeflocken oder Menschen sind keine Widersprüche zu den Gesetzen der Entropie, da sie sich in beiden Fällen als Teil eines größeren Systems gebildet haben.

Außerdem ist Ihre Informationsbeschreibung rückwärts. Die Entropie ist ein Maß dafür, wie viele Informationen erforderlich wären, um ein System vollständig zu beschreiben, und sie nimmt nie ab. Das bedeutet, dass der Urknall als Zustand niedriger Entropie die Phase des Universums ist, die am einfachsten vollständig zu beschreiben ist.

Nun, diese "vollständige Beschreibung" neigt dazu, extrem langweilig zu sein. Sie tun so etwas wie die Beschreibung des Ortes und der Bewegung jedes einzelnen Teilchens einzeln (ich ignoriere hier QM; es hat seine eigene Definition von Entropie, die konsistent ist, aber darauf gehe ich hier nicht ein). Wenn Sie einen Raum voller Gas haben, das willkürlich herumhüpft, ist das schwieriger zu beschreiben als die gleiche Anzahl von Partikeln, die alle in einem regelmäßigen Gitter angeordnet sind.

Angenommen, wir nehmen den Raum voll mit Gas, frieren ihn ein und schnitzen eine schicke Skulptur aus dem resultierenden Kristall. Für uns ist die Form, die Kristall annimmt, interessanter als der langweilige „Raum voller Gas“. Aber diese Kristallstatue vollständig zu beschreiben, erweist sich als wahnsinnig einfacher; Die Teilchen sind in Position und Geschwindigkeit stärker eingeschränkt, sie bilden ein regelmäßiges Gitter anstelle eines chaotischen Gases. Die genaue Form des Kristalls erfordert nicht allzu viele Informationen, schränkt jedoch die Anzahl der Zustände ein, die die Atome in großer Menge annehmen können. Es ist ein Zustand mit sehr niedriger Entropie, wenn man alles vollständig beschreibt.

Wir sind nur gelangweilt von dem Gasraum, interessieren uns aber für die Kristallstatue, also sprechen wir mehr über die Statue als über den Gasraum.

Menschen mögen oft Dinge mit niedriger Entropie. Unsere Gehirne sind Musterabgleicher, und Dinge mit niedriger Entropie haben viele Muster. Dinge mit hoher Entropie sind in der Regel "langweilige" Abstriche, da das Einschränken von Dingen auf ein Muster eine massive Verringerung der Positionen bedeutet, in denen sich die Teilchen im atomaren Maßstab befinden können.


Lassen Sie uns konkret werden.

Warum können wir also ein Ei nicht aufbrechen?

Der "Makro/Makrozustand"-Trick macht ein bisschen Spaß. Entgegen unserer Intuition haben die Makrozustände mit hoher Entropie im Vergleich zu den Zuständen mit niedriger Entropie eine wahnsinnig große Anzahl von Mikrozuständen. Wenn wir die Entropie in eine Zahl umwandeln, nehmen wir den Logarithmus der Anzahl der Mikrozustände. Jede „Einheit“ der Entropie ist also eine exponentielle Zunahme der Anzahl der Mikrozustände.

Eine Situation mit „hoher“ Entropie könnte eine um Tausende oder Millionen Einheiten größere Entropie haben; Jetzt nimm eund erhebe es auf eine Million. Das ist die um ein Vielfaches größere Anzahl von Mikrozuständen, die der Makrozustand mit hoher Entropie hat.

Wenn der Wechsel von einem Zustand in einen anderen nahezu gleichförmig ist, geht man von einem Makrozustand mit X-mal 10 1000000 mehr Zustände zurück zu einem Zustand mit X Zuständen wird, nun ja, nicht sehr wahrscheinlich sein . Und das passiert, wenn Sie ein Ei aufbrechen wollen. Es gibt einfach eine lächerliche Anzahl von „zerbrochenen Ei“-Zuständen und sehr, sehr wenige „unzerbrochene Eier“-Zustände. Das Fallenlassen des Eies auf den Boden stört den einigermaßen stabilen Makrozustand "unzerbrochenes Ei" und versetzt ihn in einen zufälligen Zustand im kombinierten Zustand (zerbrochenes Ei + unzerbrochenes Ei).

Um vom kombinierten Zustand (unzerbrochenes Ei + zerbrochenes Ei) zurück zu einem unzerbrochenen Ei zu gelangen, müssen wir X-mal einen dieser X-Zustände erreichen 10 1000000 kombinierte gebrochene und ungebrochene Zustände.

Also füttern Sie jetzt das zerbrochene Ei an ein Huhn (na ja, viele zerbrochene Eier). Und heraus kommt ein einziges unzerbrochenes Ei. Wie?

Das Huhn nimmt die Moleküle mit noch niedriger Entropie aus dem zerbrochenen Ei und verwendet ihre "geordnete" Energie, um andere Moleküle in sich selbst zu ordnen. Dieser Motor gibt Wärme ab – Energie mit hoher Entropie – und konzentriert einige Materialien mit niedriger Entropie im Inneren des Huhns. Diese Materialien mit niedriger Entropie werden wiederum in Abfall mit hoher Entropie umgewandelt und verwendet, um andere Materialien mit niedriger Entropie zu bauen (neue Zellen, schaffen Membranen, die Kalzium konzentrieren, Blut, das Zucker und Sauerstoff trägt, zu einer Zelle leiten, die zu einem Ei heranwächst, transkribieren DNA in RNA und RNA in Proteine ​​usw.).

Nachdem es einen Haufen Materie mit niedriger Entropie verbraucht und in Wärme mit höherer Entropie und Abfallstoffe (Poop!) umgewandelt hat, nimmt es etwas Materie und arrangiert sie zu einem Ei.

Dieser Prozess ist nicht zu 100 % effizient. Dieses Huhn produziert mehr Entropie in Abfallprodukten als die Differenz zwischen den Rohstoffen und dem fertigen Ei hat. Ein geschlossenes System mit einem Huhn, das ein Ei legt, Sie verfüttern das Ei dann wieder an das Huhn, kann keine neuen Eier produzieren, ohne dass sich der biologische Motor des Huhns selbst beschädigt.

Typischerweise erfolgt der Input zu diesem Prozess über die Fütterung von Hühnerpflanzenmaterial, das wiederum CO2 in der Luft in Pflanzenmaterial mit niedriger Entropie umwandelt, indem es Licht mit niedriger Entropie von der Sonne absorbiert.

Die Sonne wiederum erzeugt Licht, indem sie Wasserstoff mit niedriger Entropie zu Helium mit höherer Entropie verschmilzt. Der Druck, dies zu tun, wurde durch den Gravitationskollaps verstärkt, bei dem eine Ungleichmäßigkeit im interstellaren Gas dazu führte, dass einige zusammenklumpten, beim Einfallen Wärme abstrahlten (diese Wärme ist Energie mit hoher Entropie), mehr Gas einziehen und bis zum Zentrum wachsen war heiß und unter Druck genug, um die Fusion zu starten.

Der Wasserstoffbrennstoff für die Sonne war vom Urknall mit niedriger Entropie übrig geblieben. Zu Beginn des Urknalls war es zu heiß für Neutronen und Protonen, um aneinander haften zu bleiben. Als es abkühlte, begannen sie zu verschmelzen, aber die Abkühlungsgeschwindigkeit war so schnell, dass nicht der gesamte Wasserstoff zu Helium wurde, und es gab nicht genug Zeit bei dem erforderlichen Druck und der erforderlichen Temperatur, um alles zu Eisen zu verschmelzen (die Anordnung der Atomkerne mit der höchsten Entropie). von Neutronen und Protonen).


Stellen Sie sich die Welt als einen extrem steilen Abhang vor, der auch extrem, extrem lang ist.

Felsbrocken stürzen den Hang hinunter. Diese Felsbrocken prallen vom Boden ab und verlieren Energie. Dabei verlieren sie an Vorwärtsdynamik.

Aber sie sind an einem Hang, also fallen sie auch. Das hält sie am Laufen.

Mitten in dieser Lawine einen Felsbrocken bergauf rollen zu lassen, ist wahnsinnig schwer. Es ist sehr einfach, es bergab zu rollen.

Jetzt könnten Sie sogar die Felsbrocken verwenden, um ein Muster zu erstellen, aber dieses Muster muss auch den Hügel hinunterrollen; es kann nicht stationär bleiben. Die Steigung ist zu steil.

Das Universum ist, soweit wir das beurteilen können, ein extrem steiler Entropiehang seit dem Urknall. Wir ernten übrig gebliebene Materie mit niedriger Entropie – hauptsächlich Wasserstoff – aus dem Urknall, wandeln sie in Licht mit niedriger Entropie um, wandeln das in Kohlenstoffpflanzen um, vergraben alles davon und lassen es in Kohlenwasserstoff zerfallen, verbrennen diese Kohlenwasserstoffe, um unsere Kohlekraftwerke zu betreiben. Bringen Sie damit Elektronen zum Vibrieren, um elektrischen Strom zu erzeugen, verwenden Sie das, um Aluminiumerz in reines Metall umzuwandeln, und betreiben Sie Maschinen, die daraus Dosen ausstanzen, öffnen Sie dann die Dose und trinken Sie etwas sauberes Wasser daraus.

Jede dieser Ernten ist so, als würde man die Energie eines dieser fallenden Felsbrocken nutzen (wie auch wir selbst fallen), um Dinge zu erledigen.

Der allgemeine Ausdruck für die Entropie eines Systems, das sich in einem bestimmten Makrozustand befindet Ω , die Anzahl von Mikrozuständen, die diesem Makrozustand zugeordnet sind.

S = k B ln Ω
Wir gehen davon aus, dass sich das System in einem bestimmten Makrozustand mit fester Energie befindet.


Das obige funktioniert für alle Fälle!

Sie sollten für alle Zweifel andere Fragen stellen. Folgendes könnte nützlich sein

Nur aus Neugier und zur weiteren Recherche, was ist Ω Hier?
Die Anzahl der diesem Makrozustand zugeordneten Mikrozustände.
@Saeed: Dies ist die beste Antwort auf Ihre Verwirrung. Dies ist wahrscheinlich die Kerndefinition der Entropie für die meisten Physiker. Ω ist die Anzahl der Möglichkeiten, wie die Energie des Objekts auf die Bits verteilt werden kann, aus denen das Objekt besteht. Oder, wenn Sie möchten, Ω ist die Anzahl der Mikrozustände des Objekts, die mit seinem Makrozustand kompatibel sind (dh die Energie des Objekts).
Beachten Sie auch: Es gibt eine alternative Definition, die von einigen Autoren verwendet wird (z. B. Landau und Lifshitz), in der die Boltzmann-Konstante k nicht in der Definition der Entropie S vorkommt. Das ist nur Geschmackssache. Die einzige Einschränkung ist, dass (Temperatur * Entropie) die Energieeinheit haben muss .... Wenn k nicht in der Definition von S verwendet wird, dann ist S eine reine Zahl ohne Dimension/Einheit.

Eine Schneeflocke ist in der Tat ziemlich ordentlich. Es gibt weniger Möglichkeiten, wie ein Haufen Wassermoleküle eine Schneeflocke bilden kann, als einen Wassertropfen, der sich alle überall bewegt.

Das bedeutet aber nur, dass sich die Schneeflocke in einem Prozess bildet, der an anderer Stelle zu einer Erhöhung der Entropie führt. Wasser, das gefriert, gibt Wärme ab - diese Wärme erhöht die Entropie seiner Umgebung. Dasselbe gilt für lebende Organismen: Sie sind sehr geordnete Materie, aber um den Preis, größere Mengen an Materie zu fressen und damit zu stören.

Zusätzlich zur Erhöhung der Entropie, indem „große Mengen an Materie“ in kleinere molekulare Abfallprodukte umgewandelt werden, geben lebende Organismen auch viel Wärme ab, wodurch die Entropie der Umgebung erhöht wird.

tl;dr Unwissenheit der Entropie. Das ist es. Die anderen Beschreibungen sind Annäherungen oder/und Sonderfälle. Diese Teilantwort weist darauf hin, dass Entropie eher subjektiv als kontextunabhängig ist, um einen allgemeinen Verwirrungspunkt anzugehen.


Entropie ist nicht real.

Entropie ist modellsubjektiv, einschließlich Kontext/Beobachter-subjektiv. Es ist kein echter, universeller Wert; es existiert nicht kontextunabhängig. Wenn Sie dies verstehen, können Sie viel Verwirrung über scheinbare Widersprüche vermeiden.

Gedankenexperiment, das häufig falsch interpretiert wird.

Gedankenexperiment:

  1. Stellen Sie sich ein ideales Gas in einem Glasgefäß vor. Zu Beginn hat eine Seite Helium, die andere Neon.

  2. Mit der Zeit neigen wir dazu zu erwarten, dass sich die Gase durchgehend zu einer ziemlich gleichmäßigen Mischung vermischen, was oft als Zustand hoher Entropie bezeichnet wird.

  3. Manchmal entmischt sich das Gas spontan, wobei Helium und Neon wieder getrennt werden, z. B. wie zu Beginn.

  4. Ist die Entropie auf ihren Anfangswert zurückgekehrt?

Hier ist die Sache: Entropie ist nicht real. Es gehört zum Modell, nicht zum eigentlichen physikalischen System. Was ein tatsächliches physikalisches System tut, spielt also keine Rolle, weil es bei der Entropie nie um dieses tatsächliche physikalische System ging.

Was die Entropie uns vielmehr sagen würde, ist, dass das System nach beliebig viel Zeit vorhergesagt werden kann, dass es aus der Gesamtheit der möglichen ankommenden Zustände, von denen die überwiegende Mehrheit nicht entmischt ist, ziemlich ausgewählt ist. Dies wird durch eine Systementmischung nicht verletzt, da dies eine Entmischung als einen möglichen (wenn auch seltenen) Zustand vorhersagt.

Wenn ein Experimentator ein System beobachtet, von dem er angenommen hat, dass es die maximale Entropie hat, und es entmischt vorfindet, dann kann er dieses physikalische System wieder mit niedriger Entropie betrachten. Auch dies ist kein Widerspruch: Sie haben lediglich ein neues Modell konstruiert, das durch physikalische Beobachtungen informiert wurde. Das alte Modell, das gleichzeitig die maximale Entropie vorhersagt, ist ebenfalls immer noch gültig. Diese Modelle können widerspruchsfrei gleichzeitig existieren (obwohl wir offensichtlich dazu neigen, ein fundierteres Modell zu bevorzugen).

Fazit: Entropie ist subjektiv, nicht real.

Entropie ist ein riesiges Thema, das an vielen Dingen beteiligt ist. Es ist letztendlich eine Qualifikation für Unwissenheit, die formal definiert werden kann, obwohl sie mit vielen fallspezifischen Mechanismen verpackt ist, die dazu führen, dass das Wort „ Entropie “ in verschiedenen Kontexten zusätzliche Dinge impliziert.

Der Vorschlag dieser Antwort ist, sich auf ihre Subjektivität zu konzentrieren: dass es immer um das kontextabhängige Modell des Beobachters geht, nicht um reale Systeme. Vergessen Sie nicht, dass das entmischte Gas widerspruchsfrei entweder als maximale Entropie oder als minimale Entropie betrachtet werden kann, abhängig vom kontextuellen Rahmen des Beobachters.


Verwandte: Wahrscheinlichkeit ist nicht real.

Wahrscheinlichkeiten sind auch nicht real, was ein besserer Ausgangspunkt sein könnte als Entropie (da Wahrscheinlichkeit etwas einfacher ist).

Eine ziemlich lustige Frage war

in dem das Kind des OP dachte, dass ein Lottogewinn zu 50% wahrscheinlich ist. Das Komische ist, dass, so seltsam das auch erscheinen mag, der Junge Recht hatte! Nicht, dass ich jemandem empfehlen würde, Lottoscheine zu kaufen, sondern eher, dass das Kind die statistische Vernunft auf die übliche Weise korrekt angewendet und zu einem vertretbaren (wenn auch humorvollen) Ergebnis gelangt ist.

Die Kritik an der „ 50%-Chancen “-Bewertung wäre nicht, dass sie im technischen Sinne falsch ist, sondern eher schlecht informiert. Es ist wie bei der Einschätzung „ Entmischung-ideales-Gas-ist-bei-maximaler-Entropie “: Sie ist richtig, nur schlecht informiert über die Beobachtung, dass sich das Gas entmischt hat.

Kurz gesagt, ich würde vorschlagen, darüber nachzudenken, wie Wahrscheinlichkeiten funktionieren und warum sie von Natur aus subjektiv sind. Dies kann gut mit der Bestimmung der Entropie zusammenhängen.


Gedankenexperiment: Das Monty-Hall-Problem.

Das Monty-Hall-Problem ist ein lustiges Gedankenexperiment der Popkultur, das auch subjektive Wahrscheinlichkeiten demonstriert.

Grundsätzlich:

  1. Es gibt eine Spielshow mit 3 Türen, mit einem Preis hinter einer.

  2. Ein Teilnehmer darf eine Tür auswählen, dann entfernt der Gastgeber eine der anderen Türen, hinter der sich kein Preis befand.

  3. Der Teilnehmer darf von seiner aktuellen Auswahl zur anderen verbleibenden Tür wechseln. Sollten Sie?

Anscheinend schalten einige Leute nicht um. Sie denken, dass die Wahrscheinlichkeit real ist (kontextunabhängig), und da die verbleibende Tür genauso wahrscheinlich war wie ihre ursprüngliche Auswahl, würden die Chancen durch einen Wechsel nicht verbessert.

Natürlich übersehen sie eine wichtige Beobachtung: Die beiden anderen Türchen hatten zusammen eine 2-in-3-Chance, richtig zu sein, und da eine falsche entfernt wurde, kann der Teilnehmer diese 2-in-3-Chance erhalten, indem er auswählt die verbleibende Tür. Im Gegensatz dazu hat ihre aktuelle Tür immer noch nur 1-in-3-Chancen.

Die Lektion, auf die man sich hier konzentrieren sollte, ist, dass Wahrscheinlichkeit/Entropie/usw. gehören nicht zum eigentlichen physikalischen System, sondern zu Modellen davon.

Welches Modell liegt der von Clausius eingeführten thermodynamischen Definition zugrunde?
@GiorgioP: Das ist eine wirklich großartige Frage (insbesondere, da sie die überraschendste Implikation berührt, dass scheinbar empirische Werte selbst in klassischen Kontexten eher subjektiv als real sind), aber kurz gesagt, Clausius 'Rahmen war weitgehend mechanisch, um Ursache / Wirkung durch Hitze zu verfolgen / Arbeit, die reversible Prozesse beschreibt, die keine Entropie hatten. Aber in der Praxis waren diese idealen Modelle Abstraktionen, von denen man sich zurückziehen würde, da die Ideale auf eine Weise verletzt wurden, die schwer explizit zu erfassen war. Die Rückzüge würden also allgemein als Entropie quantifiziert.
@GiorgioP: Clausius diskutiert seine Aufnahme in „ The Mechanical Theory of Heat “ (1879, ( PDF )), in Kapitel 10, PDF-Seite 226 (gedruckte Seite 212). So müssen wir statt des früheren Prinzips, dass die Summe aller Transformationen Null sein muss, unser Prinzip wie folgt aufstellen, um nicht umkehrbare Variationen einzubeziehen: – Die algebraische Summe aller Transformationen, die in a vorkommen zyklischer Prozess muss immer positiv sein, oder in der Grenze gleich Null. .
@GiorgioP: Kurz gesagt, wir bräuchten idealerweise keine Entropie, sondern Quantität, z. B. Reibungsverluste, nicht als willkürliche Lecks, sondern als explizite mechanische Wechselwirkungen. Die Unkenntnis der Entropie darüber, wo genau diese kleinen expliziten mechanischen Wechselwirkungen, die wir idealerweise modellieren möchten, existieren, könnte verstanden werden.
Dies ist eine absolut brillante Antwort Nat. Es sollte immer betont werden, dass jedes mathematische Prinzip, das zur Beschreibung eines physikalischen Systems angewendet wird, nur ein Modell ist, sei es eine Differentialgleichung oder eine Optimierung in 10 6 Variablen beim Training eines neuronalen Netzes. Die Leute versuchen, etwas eine tiefe philosophische Bedeutung zuzuschreiben, was letztendlich nur praktisch ist, es ist eine sehr verbreitete Vermischung, weil nützliche Dinge immer am nächsten am menschlichen Herzen gehalten werden - wir sind immer noch nur Affen, die von unserer eigenen Fähigkeit, ein Feuer zu entfachen, begeistert sind.
Die Kolmogorov-Komplexität – auch bekannt als algorithmische Entropie – ist also nur bis zu einer Konstante modellabhängig. Bei zwei beliebigen Modellen können Sie eine Konstante C berechnen, sodass sich die beiden Modelle auf den Entropiewert einigen, den sie einer Reihe von Daten zuweisen, um höchstens eine Differenz von C; Wir können die Menge der Modellabhängigkeit in Entropie begrenzen .

Ich denke, die schiere Anzahl der Antworten auf diese Frage zeigt Ihnen, dass dies keine einfache Frage ist. Während es töricht sein mag, dem Stapel (noch eine weitere) Antwort hinzuzufügen, wollte ich (noch eine weitere) etwas andere Perspektive geben.

Ich denke, das Problem ist nicht , dass die Entropie schlecht oder mehrdeutig definiert ist . Entropie hat eine klare und präzise Definition. Gegeben sei eine Wahrscheinlichkeitsdichtefunktion P ( X ) das hängt von einigen Variablen ab X , die Entropie ist

S D X P ( X ) Protokoll P ( X )

Die typische Art und Weise, wie wir Entropie berechnen und verwenden, erfordert jedoch, dass wir weitere Entscheidungen treffen, und man wird in verschiedenen Anwendungen unterschiedliche Entscheidungen treffen.

  • Um die Entropie für eine gegebene Verteilung zu berechnen (mit anderen Worten, um das obige Integral zu berechnen), müssen wir zunächst den Raum möglicher Zustände spezifizieren (wir müssen alle möglichen Werte von kennen X ), und wir brauchen ein Maß D X auf diesem Platz. Um diesen Raum zu definieren, müssen wir möglicherweise Einschränkungen berücksichtigen , um festzustellen, ob ein bestimmter Zustand als "möglich" angesehen wird oder nicht.

  • Zweitens interessiert uns die Entropie an sich normalerweise nicht. Wir sind daran interessiert, die Wahrscheinlichkeitsdichtefunktion zu finden, die die Entropie maximiert. Um die Entropie zu maximieren, müssen wir den Raum der Wahrscheinlichkeitsdichtefunktionen spezifizieren, über den wir maximieren werden.

In der Physik (insbesondere in der Thermodynamik / statistischen Mechanik) interessieren wir uns typischerweise für Wahrscheinlichkeitsverteilungen über den Raum von Mikrozuständen eines Systems. Zum Beispiel würden wir für ein Gas eine Wahrscheinlichkeitsverteilung über jede mögliche Konfiguration des Gases definieren – jede mögliche Position und jeden möglichen Impuls für jedes Gasmolekül.

Wie oben erwähnt, müssen wir die Einschränkungen berücksichtigen, die dem System auferlegt werden. Wir können davon ausgehen, dass das System eine feste Gesamtenergie und Teilchenzahl hat. Dann sind die Wahrscheinlichkeitsverteilungen nur Funktionen von Mikrozuständen, die die vorgeschriebene Energie und Teilchenzahl haben. Die resultierende Wahrscheinlichkeitsverteilung, die die Entropie unter dieser Einschränkung maximiert, wird als mikrokanonisches Ensemble bezeichnet. Wir können auch berücksichtigen, dass die Energie des Systems variieren kann, aber die Anzahl der Teilchen fest ist (das kanonische Ensemble), oder dass die Energie und die Anzahl der Teilchen variieren können (das großkanonische Ensemble).Ensemble). Abhängig vom Raum der erlaubten Mikrozustände wird die Wahrscheinlichkeitsverteilung, die die Entropie maximiert, unterschiedlich sein. Dies ist nicht überraschend - wenn Sie den Raum der "erlaubten" Verteilungen ändern, ist es nicht überraschend, dass Sie feststellen, dass sich die Maxima der Entropie-"Landschaft" ändern - es kann jedoch verwirrend sein, da die Notation und Sprache die Tatsache oft verbergen dass die Entropie von zusätzlichen Informationen abhängt, die über die hinausgehen, die explizit in der obigen Formel erscheinen.

Wenn man sich von einem Gas entfernt, kann man die Entropie für viele verschiedene Arten von physikalischen Systemen berechnen, einschließlich des frühen Universums. Man muss jedoch über den geeigneten Phasenraum nachdenken und insbesondere über das geeignete Maß, das zum Zählen von Mikrozuständen verwendet wird (dies ist eine besondere Herausforderung in der Physik des frühen Universums). Es sollte auch klar sein, dass Entropie in nicht-physikalischen Zusammenhängen angewendet werden kann; Beispielsweise läuft die Berechnung der Entropie einer Textdatei darauf hinaus, Wahrscheinlichkeitsverteilungen über bestimmte Buchstabenkombinationen auszuwerten. Der Begriff der Entropie hängt davon ab, wie Sie den Raum der "erlaubten" Buchstaben und Wörter definieren.

Eine weitere potenzielle Verwirrungsquelle besteht darin, dass in der Physik häufig bestimmte Vereinfachungen oder Einschränkungen vorgenommen werden, die im Kontext völlig korrekt sind. Aber wenn ein Buch diese als Ausgangspunkt nimmt (was pädagogisch oft eine gute Idee ist), ist die Verbindung zu der oben gegebenen Definition möglicherweise nicht klar. In physikalischen Anwendungen weist die Wahrscheinlichkeitsverteilung, die die Entropie maximiert, allen Mikrozuständen gleiches Gewicht zu. In diesem Fall, P ( X ) = P ist eine Konstante unabhängig von X . Tatsächlich können wir schreiben P = 1 / Ω , Wo Ω ist die Gesamtzahl der Mikrozustände. In diesem Fall reduziert sich das Entropieintegral auf die übliche "Boltzmann"-Form

S = Protokoll ( 1 / Ω ) Ω D X = Protokoll Ω Ω Ω = Protokoll Ω
seit D X 1 ist nur die Gesamtzahl der Mikrozustände.

Sobald Sie dies haben, können Sie die statistische Mechanik verwenden, um die typischen Regeln abzuleiten, denen die Zustandsgröße namens Entropie in der klassischen Thermodynamik gehorcht.

Die zitierten Definitionen in Ihrer Frage konzentrieren sich tatsächlich auf die Entwicklung der Entropie im Laufe der Zeit, nicht auf die Entropie selbst. Ich erwähne dies, weil es wichtig ist, dass wir diese Dinge in der Diskussion voneinander unterscheiden.

Wahrscheinlich wird jeder, der den Begriff der Entropie verstehen möchte - anstatt sich nur die Formeln zu merken - mit dem von Ihnen geäußerten Gefühl konfrontiert: Die allgemein angebotenen Definitionen lassen einen verunsichern, es fehlt die Intuition.

Ich zucke jedes Mal zusammen, wenn ich höre, dass jemand die beliebte Störungsdefinition von Entropie verwendet. Wie Sie sagen, diese Definition lässt einen mit den notwendigen Fragen "Was ist Ordnung ?" unbefriedigt. und "Was ist Unordnung ?" Es sind Schildkröten ganz unten! Ist ein unordentlicher Raum wirklich weniger geordnet als ein Raum, den wir als aufgeräumt empfinden? Wenn Menschen diese Beschreibung verwenden, versuchen sie wirklich zu beschreiben, was mit der Entropie im Laufe der Zeit in einem geschlossenen System passiert – nicht, was Entropie ist . Das heißt, es gibt viel mehr Möglichkeiten, einen Raum als „unordentlich“ zu betrachten, als ihn aufzuräumen. Daher hat ein unordentlicher Raum eine wesentlich höhere Wahrscheinlichkeit und wird mit der Zeit ohne Eingriff natürlich unordentlicher.

Ich biete zwei Referenzen an, die in Kombination reichlich zufriedenstellende Antworten auf alle Ihre Fragen zur Entropie geben werden.

  1. Enrico Fermis Thermodynamik (sehr leicht verfügbar)
  2. Charles Kittel & Herbert Kroemer's Thermal Physics 2nd Edition, WH Freeman and Company, 1980

Fermis Thermodynamik enthält eine wunderbar prägnante, aber vollständige Ableitung des klassischen Entropiekonzepts, zusammen mit der Ableitung von Beziehungen zwischen verschiedenen Energieformen. Es erwähnt kurz Boltzmanns Ableitung von S = k   l Ö G ( π ) wobei k die Boltzmann-Konstante ist, und π ist proportional zur Wahrscheinlichkeit, einen bestimmten Zustand zu besetzen. Ohne Ableitung des letzteren lässt dies einen immer noch ohne Intuition dessen, was Entropie ist .

Um zu verstehen, was Entropie ist , genügt die erste (!) Seite, 2. Absatz von Referenz 2, mit einer perfekt prägnanten Beschreibung der Entropie: "Die Entropie misst die Anzahl der Quantenzustände, die einem System zugänglich sind."

Weiter heißt es:

Ein geschlossenes System könnte sich in jedem dieser Quantenzustände befinden und (nehmen wir an) mit gleicher Wahrscheinlichkeit. Das grundlegende statistische Element, die grundlegende logische Annahme, ist, dass Quantenzustände für das System entweder zugänglich oder nicht zugänglich sind, und dass sich das System mit gleicher Wahrscheinlichkeit in einem zugänglichen Zustand befindet wie in jedem anderen zugänglichen Zustand. Bei g zugänglichen Zuständen ist die Entropie definiert als σ = l Ö G   G . Die so definierte Entropie ist eine Funktion der Energie U , die Anzahl der Teilchen N , und die Lautstärke v des Systems, denn diese Parameter gehen in die Ermittlung ein G ; andere Parameter können ebenfalls eingegeben werden. Die Verwendung des Logarithmus ist eine mathematische Annehmlichkeit: Er ist einfacher zu schreiben 10 20 als e X P ( 10 20 ) , und es ist natürlicher, von zwei Systemen zu sprechen σ 1 + σ 2 als G 1 G 2 .

Wenn zwei Systeme mit jeweils einer bestimmten Energie in thermischen Kontakt gebracht werden, können sie Energie übertragen; Ihre Gesamtenergie bleibt konstant, aber die Einschränkungen ihrer individuellen Energien werden aufgehoben. Eine Energieübertragung in eine Richtung oder vielleicht in die andere kann das Produkt erhöhen G 1 G 2 die die Anzahl der zugänglichen Zustände der kombinierten Systeme misst. Die Grundannahme verzerrt das Ergebnis zugunsten der Allokation der Gesamtenergie, die die Anzahl der zugänglichen Zustände maximiert: mehr ist besser und wahrscheinlicher . Diese Aussage ist der Kern des Gesetzes der Zunahme der Entropie, das der allgemeine Ausdruck des zweiten Hauptsatzes der Thermodynamik ist.

Wie erhalten wir nun im Prinzip die Anzahl der Quantenzustände? Durch Zählen natürlich.

Ich erwähne eine dritte Referenz

  1. F. Reifs Grundlagen der statistischen und thermischen Physik

zum Zwecke der Erfassung von Zähltechniken in den ersten Kapiteln und dem im Anhang abgeleiteten H-Theorem, das die zeitliche Entwicklung der Entropie in Form von Wahrscheinlichkeiten beschreibt, zusammen mit einer rigorosen Ableitung grundlegender Konzepte in der statistischen Physik.

Entropie ist im Wesentlichen ein Maß für die relative Anzahl möglicher Zustände eines Systems. Dies ist der rote Faden, der alle Beispiele verbindet, die Sie zitieren. Dass die Entropie zunehmen muss, folgt aus der Definition von Wahrscheinlichkeit: Je wahrscheinlicher etwas ist (je mehr Zustände dieses Etwas repräsentieren ), desto häufiger wird etwas in einem dynamischen System auftreten (während sich das System im Laufe der Zeit entwickelt); dh etwas wird in direktem Verhältnis zu etwas auftreten's Wahrscheinlichkeit - die zeitliche Entwicklung der Entropie ist einfach eine Umformulierung der Definition von Wahrscheinlichkeit. Um die Entropie zu verringern, ist ein Eingriff erforderlich, der speziell darauf zugeschnitten ist, einen Zustand mit geringerer Wahrscheinlichkeit zu erreichen. Der eingreifende Agent (muss kein fühlendes Wesen sein) muss jedoch mehr Entropie gewinnen (oder durch Wärme erzeugen) als er extrahiert.

Zu Ihrer Information – Landau/Lifshitz widersprechen dem Zitat von Kittel/Kroemer, dass das Protokoll nur eine Annehmlichkeit darstellt. Die Logik von Landau beruht explizit auf der Verknüpfung der additiven Natur von log mit den additiven Integralen der Bewegung (Energie).

Da die vorherigen Antworten das Konzept ziemlich gut erklären, werde ich versuchen, dasselbe zu tun, wenn auch in Laiensprache -
Exkurs (kann diesen Teil überspringen, wenn Sie mit dem Konzept der "zugänglichen Quantenzustände" in der statistischen Physik vertraut sind) - Auf Seite Nr. 10 von An Introduction to Thermodynamics and Statistical Mechanics von Keith Stowe wird die Gesamtzahl der zugänglichen Zustände in einem klassischen Phasenraum durch den sehr intuitiven Ausdruck von -
Ω = v R v P 3 , Wo - v R = verfügbares Volumen im Koordinatenraum, v P =verfügbares Volumen im Impulsraum & = reduzierte Planck-Konstante (übrigens, so findet die Quantenunsicherheit natürlich ihren Weg in die statistische Physik).
Zurück zur Hauptfrage, auf Seite Nr. 331 definiert der Autor die Gesamtzahl der zugänglichen Quantenzustände als -
Ω = exp S R / k S R = k ( l N Ω ) ( 1 )
Wo - S R = Entropie des Systems & k = Boltzmann-Konstante.
Frei nach Gleichung (1) ist die Entropie eines Systems proportional zur Anzahl der zugänglichen Quantenzustände (das ist Entropie!) Je größer der verfügbare (Koordinaten-/Impuls-)Raum, desto höher die Entropie, desto höher die Unordnung (weil es mehr Auswahlmöglichkeiten für ein bestimmtes Teilchen gibt, in dem es sich niederlassen kann - also bedeutet "Ordnung" nicht eine wohlgeordnete / geordnetes äußeres Erscheinungsbild, sondern bezieht sich auf die Anzahl der zugänglichen Quantenzustände in v R & v P ), dh, nur wenn wir ein System von außen betrachten, können wir nicht sagen, ob es eine niedrigere/höhere Entropie als zuvor hat, weil es ein sehr mikroskopisches Konzept ist (Anzahl der zugänglichen Zustände ist ein mikroskopisches Konzept) .
Aus der obigen Diskussion - selbst wenn Sie ein sehr eingeschränktes räumliches Volumen zur Verfügung haben, könnte seine Entropie immer noch als hoch angesehen werden, wenn viele Impuls- / Energiezustände frei sind (im Vergleich zu einem identischen System, aber mit den meisten Impuls- / Energiezuständen). bereits gefüllt). Außerdem gibt es ein bewährtes Gesetz, dass die Entropie immer zunehmen sollte (eine Eigenschaft, die sie mit der „Zeit“ teilt, die sich ebenfalls nur in eine Richtung bewegt).
Für Ihre Frage zum Urknall (Punkt Nr. 2 & 3) verstößt der Urknall nicht gegen das Entropiegesetz, da der (koordinierte) Volumenraum ( v R ) des Universums hat seit (dem Urknall) nur noch zugenommen.
Für Schneeflocken sagst du Weil für mich eine Schneeflocke ein perfektes Beispiel für Ordnung ist. - "Ordnung" (wie oben erwähnt) bedeutet nicht eine übersichtliche/geordnete äußere Erscheinung, sondern bezieht sich auf die Anzahl der zugänglichen Quantenzustände in v R & v P . In einer Schneeflocke ist die Eisentropie tatsächlich höher, weil es viele verschiedene Möglichkeiten gibt, die Protonen (Wasserstoffatome) anzuordnen, wenn wir die Anzahl der Sauerstoffatome im Gitter kennen , daher hat eine Schneeflocke im Vergleich eine höhere Unordnung (oder Entropie). Wasser für die kalten Temperaturen, bei denen Schneeflockenbildung auftritt. und für Punkt-Nr. 4 auf "Modi" , was meinen Sie mit einheitlichen Zuständen, die die am häufigsten vorkommenden möglichen Zustände waren. ,woher wissen Sie, dass sie am häufigsten waren, und was hier mit "einheitlich" gemeint ist, bitte klären Sie das?
Kommen wir nacheinander zu den Definitionen der Entropie, die in Ihrer Frage erwähnt wurden -

  • Entropie = Unordnung, und Systeme neigen zur größtmöglichen Unordnung - oben in der Antwort erklärt.
  • Entropie = Energieverteilung, und Systeme tendieren zur größtmöglichen Energieverteilung - dies bedeutet im Wesentlichen, dass ein bestimmtes Teilchen mit höherer Wahrscheinlichkeit den Zustand einnimmt, der häufiger auftritt = z. wenn ein System mehr Spin-up hat ( | ) Zustände verfügbar als Spin-Down-Zustände ( | ), dann hat das Teilchen eine höhere Wahrscheinlichkeit, Spin-Up statt Spin-Down zu sein.
  • Entropie = Informationen, die zur Beschreibung des Systems benötigt werden, und Systeme werden in der Regel in weniger Zeilen beschrieben = dieser Satz scheint etwas unvollständig zu sein, würde aber im Grunde als bedeutend interpretiert werden mehr Staaten Weitere Informationen, die zur Beschreibung eines Systems benötigt werden (würden die vorangehenden + nachfolgenden Zeilen benötigen, um diese Aussage richtig zu verstehen).
  • Entropie = statistischer Modus, und das System tendiert dazu, in einen mikroskopischen Zustand überzugehen, der einer der am häufigsten vorkommenden Zustände ist, die es besitzen kann. = dies ist das gleiche wie in der beschrieben 2 N D Punkt oben.

PS - Mit einem Quantenzustand meinen wir sein Volumen ( v R = D X D j D z & v P = D P X D P j D P z ) kann nicht über die Genauigkeit von hinaus bekannt sein 3 .