Natürliche Informationseinheiten

Das einfachste nicht-diskrete System ist ohne Zweifel die Entropie einer Zufallsvariablen, die auf einem Längenintervall einheitlich ist$e$, zB das Intervall$[0,e]$, Und$0$außerhalb dieses Intervalls, so dass die Wahrscheinlichkeitsdichte konstant ist$e^{-1}$. Diese hat eine Entropie von$1$Nat.

Eine ganze Zahl von Nats ist im Allgemeinen nicht sinnvoll. Zumindest habe ich so etwas noch nie in einer vernünftigen physikalischen oder mathematischen Situation gesehen. In dieser Hinsicht sind sie dem Bogenmaß ziemlich ähnlich: Man sieht sich selten, wenn überhaupt, mit einem Winkel von genau einem Bogenmaß konfrontiert, aber wir verwenden sie trotzdem, weil sie die Mathematik vereinfachen.

Das heißt nicht, dass Sie sich kein Beispiel ausdenken können. Zum Beispiel sagt mir Wolfram|Alpha, dass ein diskretes System mit drei Zuständen eine Entropie von einem nat if hat

Dies kann leicht auf ein Quantenbeispiel erweitert werden, indem man ein im Zustand präpariertes Zwei-Spin-System betrachtet$|00\rangle$mit Wahrscheinlichkeit$p_1$und ähnlich$p(|01\rangle)=p_2$,$p(|10\rangle)=p_3$Und$p(|11\rangle)=0$, mit$p_1\dots p_3$wie oben definiert. Dann befindet es sich in einem gemischten Zustand mit einer von Neumann-Entropie von einem nat.

Wenn mir eine einfache Möglichkeit einfällt, ein nicht-diskretes Beispiel zu konstruieren, werde ich diesen Beitrag aktualisieren, aber ich garantiere, dass es sich genauso konstruiert anfühlen wird wie die diskreten und Quantenbeispiele. Wir verwenden Nats, weil sie die Notwendigkeit der Boltzmann-Konstante vermeiden, nicht wegen der Menge$1\;\text{nat}$ist eine sinnvolle.

Die folgende Antwort basiert auf einer Beobachtung des Fragestellers dieser Frage, die hier und hier zu finden ist , obwohl der Kontext etwas anders ist. (Als ich es schrieb, war mir nicht bewusst, dass diese Fragen von derselben Person wie diese Frage geschrieben wurden, aber ich denke dennoch, dass es eine nützliche Antwort für zukünftige Referenzen ist.)

Im Widerspruch zu meiner vorherigen Antwort gibt es ein schönes natürliches Beispiel wo$\frac{1}{2}\,\text{nat}$entsteht als Menge an Informationen. Es entsteht eher als bedingte Entropie als als Entropie, aber ich denke, es ist immer noch interessant. Natürlich können Sie es in ein einziges Nat verwandeln, indem Sie einfach zwei unabhängige Kopien desselben Systems erstellen. Dies ist ein rein mathematisches Beispiel, aber es ist so einfach, dass man sich leicht vorstellen kann, dass es in einem physikalischen Kontext auftaucht.

Lassen$Q$eine Zufallsvariable sein, die gleichmäßig auf das Intervall verteilt ist$[0,1]$. Lassen$X$eine diskrete Zufallsvariable mit Werten sein$\{0,1\}$, korreliert$q$so dass$p(x=1|Q=q)=q$. (Oder anders ausgedrückt$X$ist eine Zufallsvariable, deren Wahrscheinlichkeit$q$gleichmäßig verteilt ist$[0,1]$.)

Es ist klar, dass die Entropie von$X$ist ein Bit, und die Entropie von$Q$weicht ab. (Oder, wenn Sie es vorziehen, Shannons kontinuierliche Entropie zu verwenden, ist sie gleich einem Bit.) Wir können jedoch auch nach dem Wert der bedingten Entropie fragen$H(X|Q)$, was (informell gesprochen) die erwartete Menge an Unsicherheit ist, die in der Variablen verbleibt$X$nach dem Lernen der Wert von$Q$. Es ist definiert als

oder

Gegeben seien zwei identische, unabhängige Systeme dieser Form mit Variablen$X_1, Q_1$Und$X_2, Q_2$, die bedingte Entropie$H(X_1X_2|Q_1Q_2) = 2H(X|Q) = 1\,\text{nat}$.

Es ist auch sinnvoll, nach dem Wert der gegenseitigen Information zwischen den beiden Variablen zu fragen$X$Und$Q$. Dies wird durch gegeben$\ln 2 - 1/2\,\,\text{nats}$, oder$1-\frac{1}{2}\log_2 e\,\,\text{bits}$.

Ein physikalischeres Beispiel für eine One-Nat-Menge finden Sie in dieser Frage von Mark Eichenlaub. Ich versuche gerade herauszufinden, ob es einen Zusammenhang zwischen diesem physikalischen Beispiel und dem mathematischen gibt, das ich gerade vorgestellt habe.