Welche Beziehung besteht zwischen der thermodynamischen Entropie und den Informationen im Gehirn (oder einem Buch)?

Zusamenfassend:

Ja, Information und Negentropie messen dasselbe und können direkt verglichen werden und unterscheiden sich nur durch einen konstanten Skalierungsfaktor.

Dies führt jedoch zu einem Problem, wenn es um die wertvollen Informationen in einem Buch, Gehirn oder Computer geht, da die wertvollen Informationen von der relativ zahlenmäßig gigantischen Entropie der Anordnung der Masse, die diese Informationen speichert, überwältigt werden. Dieses Problem lässt sich jedoch häufig leicht lösen, indem Informationsfragen gestellt werden, die so formuliert sind, dass die interessierenden Informationen ausgewählt werden. In einem Computer, wo diese Trennung zum Beispiel offensichtlicher ist, ist es wichtig, zwischen der Entropie eines Transistors (eine kristalline Struktur mit sehr hoher Information) und der in seinem logischen Zustand enthaltenen Information (eine viel viel niedrigere Information, aber normalerweise interessanter).

Daher stellt sich am Ende nur die Frage: Verstehen wir das System gut genug, um festzustellen, an welchen Informationen wir interessiert sind? Wenn wir das wissen, ist es normalerweise möglich, es abzuschätzen.

sind Negentropie und Informationsmessung dasselbe?:

Ja. Dies wird von vielen Leuten sehr deutlich formuliert, einschließlich dieser Antwort auf PSE, aber ich nehme ein altes Buch von Brillioin, Wissenschafts- und Informationstheorie ( dh dies ist das Brillioin von Brillioin Zones usw. und auch die Person, die prägte den Begriff "Negentropie").

Der wesentliche Punkt ist zu zeigen, dass jede Beobachtung oder jedes Experiment, das an einem physikalischen System gemacht wird, automatisch zu einer Erhöhung der Entropie des Labors führt. Es ist dann möglich, den Verlust an Negentropie (Zunahme der Entropie) mit der Menge an gewonnener Information zu vergleichen. Die Effizienz eines Experiments lässt sich als das Verhältnis von gewonnener Information zu dem damit verbundenen Entropiezuwachs definieren.

Informationen vs. wertvolle Informationen:

Brillioin unterscheidet auch zwischen "Informationen" und "wertvollen Informationen" und sagt, dass es a priori keinen mathematischen Weg gibt, diese zu unterscheiden, obwohl wir in bestimmten Fällen definieren können, was wir als wertvolle Informationen betrachten, und in diesen Fällen können wir sie berechnen . 

Wir ignorieren vollständig den menschlichen Wert der Informationen. Einer Auswahl von 100 Buchstaben wird ein gewisser Informationswert beigemessen, und wir untersuchen nicht, ob es im Englischen Sinn macht und ob die Bedeutung des Satzes gegebenenfalls von praktischer Bedeutung ist. Nach unserer Definition eine Menge von 100 zufällig ausgewählte Buchstaben (nach den Regeln von Tabelle 1.1), ein Satz von 100 Buchstaben aus einer Zeitung, ein Stück von Shakespeare oder ein Theorem von Einstein haben genau den gleichen Informationswert, d.h. wir definieren „Information“ im Unterschied zu „Wissen", für das wir kein numerisches Maß haben. Wir unterscheiden nicht zwischen nützlichen und nutzlosen Informationen, und wir entscheiden uns dafür, den Wert der Informationen vollständig zu ignorieren. Unsere statistische Definition von Informationen basiert nur auf Knappheit. Wenn a Lage ist knapp, es enthält Informationen. Ob diese Informationen wertvoll oder wertlos sind, geht uns nichts an. Der Begriff „Wert“ bezieht sich auf die mögliche Nutzung durch einen lebenden Betrachter.

Um die Informationen in den Pricipia anzusprechen, lautet die Frage natürlich, Informationen von wertvollen Informationen zu trennen und zu beachten, dass ein ähnliches Buch mit denselben Buchstaben in einer bestimmten, aber zufälligen Reihenfolge dieselben Informationen, aber unterschiedliche wertvolle Informationen enthält .

In seinem Buch liefert Brillioin viele gewöhnliche Beispiele, berechnet aber auch einige breitere und interessantere Beispiele, die eng mit einigen Unterthemen dieser Frage verbunden sind. Anstelle eines Bildes (wie die Frage des OP andeutet) konstruiert Brillioin eine Möglichkeit, die Informationen eines schematischen Diagramms zu quantifizieren. Anstelle eines Physiktextes (wie die Frage des OP suggeriert) analysiert er ein physikalisches Gesetz (in diesem Fall das ideale Gasgesetz) und berechnet auch seinen Informationsgehalt. Es ist keine Überraschung, dass diese Informationswerte von den nicht wertvollen Informationen in dem physischen Material, in dem sie verkörpert sind, überschwemmt werden.

ein spezieller fall, das gehirn:

Von den drei Themen, die durch die Frage aufgeworfen werden, ist das Gehirn das interessanteste für mich. Wenn Sie hier fragen, was die Informationen im Gehirn sind, entsteht eine ähnliche Mehrdeutigkeit wie bei einem Computer: "Sprechen Sie über die kristallinen Transistoren oder sprechen Sie über ihren Spannungszustand?" Aber im Gehirn ist es aus verschiedenen Gründen komplexer, aber am schwierigsten zu klären scheint zu sein, dass es keine klare Unterscheidung zwischen Struktur und Zustand und wertvollen Informationen gibt.

Ein Fall, in dem klar ist, wie dies zu klären ist, sind die Informationen in Spitzen innerhalb von Neuronen. Ohne eine vollständige Zusammenfassung der Neurowissenschaften zu geben, möchte ich sagen, dass Neuronen Informationen über Spannungen übertragen können, die an ihren Membranen auftreten, und diese Spannungen können kontinuierlich schwanken oder als diskrete Ereignisse, sogenannte "Spitzen", existieren. Die Spikes sind am einfachsten, ihre Informationen zu quantifizieren. Zumindest für afferente Stimulus-codierende Neuronen, bei denen die Menschen eine vernünftige Vermutung anstellen können, welchen Stimulus sie codieren, ist es oft möglich, Bits/Spikes zu quantifizieren, und es wird normalerweise festgestellt, dass sie je nach Neuron 0,1 bis 6 Bits/Spikes betragen (aber hier findet offensichtlich eine gewisse Vorauswahl der Neuronen statt). Es gibt ein ausgezeichnetes Buch zu diesem Thema mit dem Titel Spikes von Fred Rieke et al, obwohl seit seiner Veröffentlichung viel Arbeit geleistet wurde. 

Das heißt, bei einem gegebenen Modell von 1) was kodiert wird (zB Aspekte der Stimuli) und 2) was der physikalische Mechanismus zum Kodieren dieser Informationen ist (zB Spikes), ist es ziemlich einfach, die Informationen zu quantifizieren. 

Mit einem ähnlichen Programm ist es möglich, die in einer Synapse und in kontinuierlichen Spannungsänderungen gespeicherten Informationen zu quantifizieren, obwohl es zu diesen Themen weniger Arbeit gibt. Um diese zu finden, suchen Sie nach Dingen wie "Shannon Information Synapse" usw. Es scheint mir nicht schwer, sich ein Programm vorzustellen, das diesen Weg fortsetzt, und es könnte, wenn es auf die ausreichend große Größe skaliert würde, schließlich Informationen einschätzen das Gehirn von diesen Prozessen. Dies funktioniert jedoch nur für die Prozesse, die wir gut genug verstehen, um die Fragen zu stellen, die zu den Informationen führen, an denen wir interessiert sind.

Es gibt viele verschiedene Möglichkeiten, die Informationen der Bücher in einer Bibliothek zu definieren – je nachdem, ob man sie als physische Papierobjekte oder als Sammlungen von Buchstaben/Wörtern oder als etwas anderes betrachtet.

Konzentrieren wir uns auf die im Text hinterlegten Informationen, also die konkrete Anordnung von Buchstaben und Wörtern, so lässt sich dieser auf zwei Ebenen betrachten:

• Zunächst einmal ist die Anordnung von Buchstaben und Wörtern nicht zufällig, dh sie befindet sich offensichtlich nicht im Zustand maximaler Entropie. Als amüsante Manifestation dessen könnte man die Häufigkeit von Buchstaben vergleichen, die in einem Text verwendet werden, der auf Englisch und einer anderen Sprache mit demselben (oder sich zumindest überschneidenden) Alphabet geschrieben wurde – sie sind offensichtlich unterschiedlich und dienen tatsächlich oft als erster Schritt im Text Erkennungsalgorithmen. Offensichtlich ist der echte Text bei weitem komplexer als die Statistik von Buchstaben und Wörtern - da die Buchstaben und Wörter selbst über komplexe Regeln korreliert sind (Shannons Artikel stellt eine frühe Diskussion einer solchen Analyse dar, aber es gibt komplexere Regeln, die in der mathematischen Linguistik unter untersucht werden Begriffe wie Transformationsgrammatik , generative Grammatik usw.)
• Texte sind jedoch noch mehr als die Statistik von Symbolen - ihre Korrelation mit anderen statistischen Verteilungen, zB mit den Wörtern, Sätzen und anderen Daten, die im Kopf einer Person gespeichert sind, die ein Buch liest. Offensichtlich kann ein einsprachiger Spanischsprecher mehr von einem in dieser Sprache geschriebenen Buch bekommen als ein einsprachiger Englischsprecher, obwohl der Brief immer noch mehr bekommt als ein einsprachiger Chinesischsprecher. In der Informationswissenschaft werden solche Korrelationen durch gegenseitige Informationen gemessen - dh die Informationen, die in Bezug auf einen bestimmten Hintergrund / Kontext gemessen werden.

Aus einer solchen textuellen Sicht hängt der Informationsverlust aufgrund eines Flecks oder einer fehlenden Seite in einem Buch davon ab, wie sehr es die Statistik der Symbole in diesem Buch und die Korrelationen zwischen ihnen verzerrt. Manchmal kann ein geschwärztes Wort leicht aus dem Kontext erraten werden, während es in anderen Fällen einen ganzen Satz oder einen Absatz unverständlich machen kann.

Ist es legitim, die im Gehirn gespeicherten Informationen als Teil der thermodynamischen Entropie zu betrachten?

Soweit das Gehirn selbst physisch ist, können wir das.

Der Geist selbst wird jedoch nicht auf diese Weise verstanden, es ist zum Beispiel nicht einmal klar, was Bewusstsein ist. Es ist auch nicht klar, was mit im Kopf gespeicherten Informationen gemeint sein kann. Daher ist es besser, sich davon abzuwenden, den Geist durch physikalische Konzepte zu denken.