Gibt es ein Renyi-Entropie- Analogon von `` " ?
Wenn ja, gibt es dafür eine bekannte Bedeutung?
Beim Googeln habe ich ein paar verschiedene Begriffe gefunden,
Gleichung 18 hier, http://arxiv.org/abs/1505.06980
Gleichung 2.5 hier, http://rgmia.org/papers/v14/v14a17.pdf
Der Begriff der „Renyi-Divergenz“, wie hier angegeben, http://en.wikipedia.org/wiki/R%C3%A9nyi_entropy#R.C3.A9nyi_divergence
Ich frage mich, ob für kontinuierliche Wahrscheinlichkeitsverteilungen Und wenn man schreiben kann, und ob das eine bedeutung hat.
Allerdings weiß ich nicht, wie man das sicherstellen kann ...
(Die Frage hätte sich auch bei der Kullback-Leibler-Divergenz stellen können?)
Normalerweise bedeutet bedingte Entropie. In diesem Fall gibt es meines Erachtens keine allgemein akzeptierte Definition des Renyi-Gegenstücks. Es gibt jedoch eine kürzlich erschienene Masterarbeit, die einige Möglichkeiten auflistet, einschließlich eines neuen Vorschlags des Autors, was ziemlich vernünftig erscheint: http://web.math.leidenuniv.nl/scripties/MasterBerens.pdf
Wenn Sie wirklich "relative Renyi-Entropie" meinen, ist die gefundene Divergenz die richtige Antwort.
Zusammenhang zwischen relativer Entropie und bedingter Entropie:
Beachten Sie die Kullback-Leibler-Divergenz (auch bekannt als relative Entropie) ist ein Maß dafür, wie ähnlich zwei Wahrscheinlichkeitsverteilungen sind. Grob gesagt ist es gleich Null, wenn zwei Wahrscheinlichkeitsverteilungen gleich sind ( ). Es enthält keine Informationen darüber, wie zwei Zufallsvariablen zusammenhängen. Wenn wir über diskrete Wahrscheinlichkeitsmaße sprechen, können wir uns vorstellen Und als Vektoren. In diesem Fall sollten sie beide die gleiche Größe haben, wenn man die KL-Divergenz berechnen will.
Im Gegensatz dazu bedingte Entropie ist ein Maß dafür, wie zwei Zufallsvariablen zusammenhängen. Man muss über diese beiden Zufallsvariablen eine gemeinsame Wahrscheinlichkeit definieren, um die bedingte Entropie berechnen zu können. Es ist gleich Null, wenn Kenntnis von bestimmt den Wert von vollständig. Außerdem können diese beiden Zufallsvariablen eine unterschiedliche Anzahl möglicher Werte haben.
Student