Welche Beziehung besteht zwischen der Unsicherheit und den aus einer Messung gewonnenen Informationen?

Angenommen, wir haben die Wahrscheinlichkeit, den Wert zu messen$x_i$gegeben von$P(x_i)$. Die Ungewissheit bzgl$x$wird dann durch Shannon-Entropie gemessen (was nicht ganz dasselbe ist wie Entropie in der Thermodynamik ):

Nach der Messung$A$, ist die Verteilung derselben Größe durch die bedingte Wahrscheinlichkeit gegeben$P(x_i|A)$, so dass die Unsicherheit ist:

Eine ausführlichere Diskussion dieser Konzepte findet sich in den Büchern zur Informationstheorie, wie z. B. Elements of Information Theory von Cover und Thomas .

„Unsicherheit“ ist ein mehrdeutiger Begriff. Für eine Standardmessung in der Physik gibt es zwei anerkannte Fehlerkomponenten.

Die Genauigkeit ist ein Maß dafür, wie gut eine Messung mit dem „bekannten“ Wert übereinstimmt. Offensichtlich ist der bekannte oder wahre Wert einer Messung normalerweise nicht bekannt, aber für Situationen wie die Bestimmung der Konzentration einer Chemikalie in einem Chemieexperiment würden Sie absichtlich eine bekannte Konzentration dieser Chemikalie mischen, die als "Standard" bekannt ist. und messen Sie diese Konzentration, um sicherzustellen, dass Ihr Messgerät/Ihre Methode Ihnen einen wahren Messwert liefert.

Die Genauigkeit ist ein Maß dafür, wie viele signifikante Zahlen Sie einer bestimmten Messung zuordnen können, und hängt von dem Gerät ab, mit dem die Messung durchgeführt wurde. Bei einer Meterstabmessung, bei der der Meterstab in Zentimetern markiert ist und keine Millimetermarkierungen enthält, können Sie Längen auf den nächsten Zentimeter genau messen und den Bruchteil eines Zentimeters schätzen, der von der unbekannten Länge überschritten wird. Somit würde eine Linie, die 65,3 Zentimeter lang ist, als 0,653 Meter lang gemeldet werden, wobei die niedrigstwertige Ziffer (z. B. "3") als geschätzter Wert erkannt wird. Sie würden die Länge nicht als 0,6530 Meter angeben, da die Genauigkeitsregeln erfordern, dass Sie nur die erste geschätzte Ziffer in Ihrer Antwort schätzen und angeben. Ebenso, wenn ein anderer Meterstab in Zentimetern und Millimetern markiert war, Sie würden die gemessene Linie als 0,6532 Meter angeben, wobei wiederum die niedrigstwertige Ziffer (z. B. „2“) als geschätzter Wert erkannt wird. Beachten Sie, dass bei ordnungsgemäßer Angabe der Genauigkeit leicht zu erkennen ist, dass die erste Messung mit einem Gerät durchgeführt wurde, das in Zentimetern gekennzeichnet war, während die zweite Messung mit einem Gerät durchgeführt wurde, das in Millimetern gekennzeichnet war.

Bezüglich der oben beschriebenen "Unsicherheit" der Messungen geben BEIDE Messungen eine Antwort innerhalb der Genauigkeit des verwendeten Gerätes. JEDE Antwort ist gültige „Information“ im Sinne von Genauigkeit und Präzision. Ob eine Antwort als „besser“ oder gültiger als die andere angesehen werden kann, hängt oft davon ab, wie präzise eine Antwort für eine bestimmte Anwendung oder ein bestimmtes Experiment benötigt wird. Dies bedeutet natürlich, dass es keine streng definierte Beziehung zwischen "Unsicherheit" und "Information" gibt, da diese beiden Begriffe im Kontext etablierter physikalischer Normen mehrdeutig sind.

„Daten sind keine Informationen. Informationen sind kein Wissen. Wissen ist nicht Weisheit. Weisheit ist nicht Wahrheit. Wahrheit ist nicht Schönheit. Schönheit ist nicht Liebe. Liebe ist keine Musik. Musik ist DAS BESTE.“ Frank Zappa

Wenn Sie etwas messen, erhalten Sie Daten. Die Informationsmenge in den Daten kann abgeschätzt werden, indem Sie Ihre Unsicherheit abschätzen. Wenn Sie vor dem Eintreffen der Daten keine Ahnung hatten, was Sie erwartet, und dann herausgefunden haben, ist das etwas. Aber wenn Sie sich ziemlich sicher waren, was Sie bekommen würden, und dann hätten Sie es bekommen, ist das viel weniger. Wenn Sie sich sicher waren, was die Daten sein würden, und sich dann geirrt haben, dann haben Sie mehr Informationen erhalten, als wenn Sie es einfach nicht wissen.

Wenn die Daten das Ergebnis eines Pferderennens waren, für das Sie Geld hatten, dann ist die eigentliche Botschaft das, was Sie interessiert. Wenn dein Pferd WIRKLICH gewonnen hat, aber das wurde nicht bekannt gegeben, verlierst du sowieso dein Geld. Aber was ist, wenn das, was Ihnen wirklich am Herzen liegt, ein allgemeines Prinzip ist? Sie haben eine Vorstellung davon, was in den Messungen vor sich geht, und jede Messung hilft Ihnen, sich davon zu überzeugen, dass Sie richtig oder falsch liegen. Wenn Sie die wichtigsten Dinge verstehen, und es gibt verschiedene Kleinigkeiten, die kleine Auswirkungen haben, können Sie einige kleine Fehler akzeptieren. Aber sobald Ihre großen Auswirkungen akzeptiert sind, könnte jemand anderes mit Theorien über die kleinen Fehler daherkommen, und für ihn sind das die wichtigen Dinge. "Das Fleisch des einen ist das Gift des anderen. Die Daten des einen sind der experimentelle Fehler des anderen."

Was also entscheidet, ob es Information oder Rauschen ist, ist das, was Sie interessiert.

Wie viele Informationen Sie erhalten, hängt im Wesentlichen davon ab, wie überrascht Sie sind, wenn Sie sie erhalten. Oder vielleicht ist es besser zu sagen, ab wie viel Ihre Unsicherheit reduziert wird.

Dieses Zeug ist schwer sinnvoll zu quantifizieren. Aber es gibt Möglichkeiten, es zu quantifizieren, die Sie unter bestimmten Umständen als sinnvoll erachten können.

Wir verstehen diese Menge$q$hat einen wahren Wert$q_{true}$. Wir können jedoch nur eine Reihe von Werten kennen, innerhalb derer$q_{true}$Lügen. Das Ausmaß dieser Wertemenge wird als Unsicherheit bezeichnet$\delta q$. Da wir nicht wissen können, wo in der Menge der wahre Wert liegt, verwenden wir oft den Durchschnitt als unsere beste Schätzung$q_{best}$. Es gibt andere beste Schätzungen wie den Median oder das geometrische Mittel.

Um eine Menge den Formalismus zu melden$q = q_{best}\pm\delta q$wird eingesetzt. Dieser Bericht erfordert 2 Informationen.

1. Die beste Schätzung,$q_{best}$
2. Die Unsicherheit,$\delta q$

Eine bessere Schätzung oder eine verbesserte Unsicherheit ändert nichts an der Anzahl der Informationen, die erforderlich sind, um die Menge vollständig zu beschreiben. Eine kleinere Ungewissheit existiert innerhalb des Ausmaßes der größeren Ungewissheit, also impliziert das eine das andere. Die Angabe der Reihen- und Sitzplatznummer ohne das Stadion ist bedeutungslos. Eine gültige Unsicherheit ist also eine einzelne Information.

wenn sich die Ungewissheit verdoppelt, halbiert sich dann der Informationsgewinn?

Nein. Es gibt nur noch zwei Mengenangaben.

Entspricht unendliche Unsicherheit auch 0 Informationen?

Nein. Die wahren Werte liegen im Umfang der Wertemenge. Die beste Schätzung kann immer noch gemacht werden. Manche würden es "das Offensichtliche sagen" nennen.

Das Unsicherheitsprinzip muss sorgfältig betrachtet werden. In diesem Fall hat "Unsicherheit" Konnotationen der Quantenmechanik, die die Bedeutung im Vergleich zur oben verwendeten Art und Weise ändern können. Das Prinzip verbindet die (bisher als unabhängig betrachteten) Unsicherheiten zweier Größen.

Das Unsicherheitsprinzip führt eine Beschränkung der Unsicherheiten ein. Wenn die Proportionalitätskonstante bekannt ist, reduziert die Einschränkung die Anzahl der Informationen auf 3. Die Konstante kann genau sein und die Anzahl der Informationen auf 4 bringen. Oder sie kann ungewiss sein, wenn die Menge der Informationen auf 5 gebracht wird.

Unsicherheit erzeugt oder zerstört keine Informationen. Durch das Reduzieren werden die vorhandenen Informationen nur aufpoliert.