Das ist die kontinuierliche (differentielle) Entropie; nicht die Entropie der diskreten Zufallsvariablen, die Ihr ADC-Ausgang ist!

Sie könnten (und wenn Sie Ihre Profilseite sehen, werden Sie wahrscheinlich viel Spaß daran haben) sich mit der sogenannten Ratenverzerrung auf dem Gebiet befassen, das sich mit Informationsentropie, Informationstheorie , befasst . Im Wesentlichen "lässt" ein ADC nicht die gesamte in ihn eintretende Entropie "durch", und es gibt Möglichkeiten, dies zu messen.

Aber in diesem speziellen Fall sind die Dinge einfacher.

Denken Sie daran: Die Entropie einer diskreten Quelle$X$ist die Informationserwartung

$$H(X) = E(I(X))$$

und seit Ihrem ADC-Ausgang$X$hat sehr endlich viele, abzählbare Mengen von Ausgangszuständen, der Erwartungswert ist nur eine Summe von Wahrscheinlichkeiten eines Ausgangs$x$mal die Information dieser Ausgabe:

$$\begin{align} H(X) &= E(I(X))\\ &= \sum_{x} P(X=x) \cdot I(X=x)\\ &= \sum_{x} P(X=x) \cdot \left(-\log_2(P(X=x))\right)\\ &= -\sum_{x} P(X=x) \log_2(P(X=x)) \end{align}$$

Nun, erste Beobachtung:$H(X)$eines$N$-bit ADC hat eine Obergrenze: Sie können nie mehr als bekommen$N$Bits von Informationen aus diesem ADC. Und: Sie bekommen genau$H(X)=N$wenn Sie die diskrete Gleichverteilung für die Werte über die verwenden$2^N$ADC-Schritte (versuchen Sie es! set$P(X=x) = \frac1{2^N}$in der Formel oben, und denken Sie daran, dass Sie summieren$2^N$verschiedene mögliche Ausgangszustände).

Wir können also intuitiv schlussfolgern, dass die digitalisierte Normalverteilung weniger Entropiebits liefert als die digitalisierte Gleichverteilung.

Praktisch bedeutet das etwas immens Einfaches: Anstatt beispielsweise einen 16-Bit-ADC zu verwenden, um Ihr normalverteiltes Phänomen zu digitalisieren, verwenden Sie sechzehn 1-Bit-ADCs, um 16 analoge normalverteilte Einheiten zu beobachten, und messen Sie nur, ob der beobachtete Wert kleiner oder ist größer als der Mittelwert der Normalverteilung. Dieses "Vorzeichenbit" wird gleichmäßig verteilt$\{-1, +1\}$, und somit erhalten Sie ein volles Bit aus jedem 1-Bit-ADC, was sich auf insgesamt 16 Bits summiert. Wenn Ihre Rauschquelle weiß ist (das heißt: ein Sample ist nicht mit dem nächsten korreliert ), können Sie mit Ihrem 1-Bit-ADC einfach 16-mal so schnell abtasten wie Ihr 16-Bit-ADC und die vollen 16 Bit erhalten von Entropie in der gleichen Zeit, in der Sie eine 16-Bit-Analog-Digital-Wandlung durchgeführt hätten¹.

Wie viele Entropiebits hat die quantisierte Normalverteilung?

Aber Sie hatten eine sehr wichtige Frage: Wie viele Bits erhalten Sie, wenn Sie eine Normalverteilung digitalisieren?

Das erste, was zu erkennen ist:

Die Normalverteilung hat Schwänze, und Sie müssen sie abschneiden; Das bedeutet, dass alle Werte über dem größten ADC-Schritt auf den größten Wert abgebildet werden und alle Werte unter dem kleinsten auf den kleinsten Wert.

Welche Wahrscheinlichkeit bekommen dann die ADC-Schritte?

Ich mache folgendes Modell:

1. Wie oben gezeigt, das Zeichen unserer$\mathcal N(0,1)$verteilte Variable ist stochastisch unabhängig vom Absolutwert. Also berechne ich einfach die Werte für die ADC-Bins$\ge0$; die negativen werden symmetrisch identisch sein.
2. Unser Modell ADC umfasst$[-1,1]$analoge Einheiten; es hat$N+1$Bits. Das heißt, ich werde decken$[0,1]$mit$N$bisschen unten.
3. Das kleinste nicht-negative ADC-Bin deckt somit analoge Werte ab$v_0=[0,2^{-N}[$; der danach$v_1=[2^{-N},2\cdot 2^{-N}[$.
   Der$i$Bin (von 1 gezählt,$i<2^N-1$) deckt $$v_i=[i\cdot 2^{-N},(i+1)\cdot 2^{-N}[$$ .
4. Am interessantesten ist jedoch die letzte Tonne: Sie deckt ab $$v_{2^N-1}=[ (2^N-1)\cdot 2^{-N},\infty[=[1-2^{-N},\infty[$$ .

Um also die Entropie zu erhalten, dh die erwartete Information, müssen wir die Informationen der einzelnen Bins berechnen und diese mitteln, dh die Information jedes Bins mit seiner Wahrscheinlichkeit gewichten. Wie groß ist die Wahrscheinlichkeit für jeden Bin?

$$\begin{align} P(X\in v_i|X>0) &= \int\limits_{i\cdot 2^{-N}}^{(i+1)\cdot 2^{-N}} f_X(x)\,\mathrm dx && {0\le i<2^N-1}\\ &= 2\left(F_X\left((i+1)\cdot 2^{-N}\right)-F_X\left(i\cdot 2^{-N}\right)\right) &&|\text{ standard normal}\\ &= 2\Phi\left((i+1)\cdot 2^{-N}\right)-2\Phi\left(i\cdot 2^{-N}\right)\\[1.5em] P(X\in v_{2^N-1}|X>0) &=\Phi(\infty)-2\Phi\left(1- 2^{-N}\right)\\ &= 1-2\Phi\left(1- 2^{-N}\right) \end{align}$$

Lassen Sie uns also die Informationen eines 5-Bit-ADC darstellen (was bedeutet, dass 4 Bit die positiven Werte darstellen):

Wenn wir das $\P\$ von oben zusammenfassen, sehen wir, dass wir nur 3,47 Bit erhalten.

Machen wir mal ein Experiment: Zahlt sich mein ADC aus? Wir zeichnen einfach die Entropie auf, die wir über ADC-Bits bekommen, für die wir bezahlen.

Wie Sie sehen können, erhalten Sie für zusätzliche Kosten abnehmende Renditen. Verwenden Sie also keinen hochauflösenden ADC, um eine stark abgeschnittene Normalverteilung zu digitalisieren

Skalierung des ADC-Bereichs

Wie aus den vorherigen Abschnitten ziemlich intuitiv hervorgeht, besteht das Problem darin, dass der Grenzbehälter zu viel Wahrscheinlichkeitsmasse ansammelt.

Was wäre, wenn wir den ADC-Bereich skalieren würden, um ihn abzudecken?$[-a\sigma, a\sigma]$statt nur$[-\sigma, \sigma]$?

Was unseren Verdacht bestätigt, dass es eine maximale Entropie gibt, die Sie erhalten, wenn Sie Ihre Normalverteilung "irgendwie" relativ einheitlich aussehen lassen:

---

Quellcode

Die zum Generieren der obigen Abbildungen verwendeten Skripte finden Sie auf Github .

---

¹ In der Tat müssen Sie sich die Architektur Ihres ADC genau ansehen: ADCs sind normalerweise nicht dazu gedacht, weißes Rauschen zu digitalisieren, und daher streben viele ADC-Architekturen danach, das weiße Rauschen zu „färben“, z. B. durch Verschieben der Rauschenergie zu höheren Frequenzen wenn der Ausgabewert nacheinander gemessen wird; Eine Einführung in den Delta-Sigma-ADC ist hier ein Muss! Und ich bin mir sicher, das wird dir gefallen :)