www.wikidata.de-de.nina.az

Differentielle Entropie Die differentielle Entropie ist ein Begriff aus der Informationstheorie und stellt ein Maß für d

Differentielle Entropie

Die differentielle Entropie ist ein Begriff aus der Informationstheorie und stellt ein Maß für die Entropie einer kontinuierlichen Zufallsvariable dar, ähnlich der Shannon-Entropie für diskrete Zufallsvariablen.

Genaugenommen ist sie eine Kennzahl einer Wahrscheinlichkeitsverteilung. Sie kann zum Vergleich zweier kontinuierlicher Zufallsvariablen herangezogen werden, besitzt jedoch nicht die gleiche Aussage wie die Shannon-Entropie. Einen Versuch die differentielle Entropie anzupassen, um ähnliche Eigenschaften wie die der Shannon-Entropie zu erhalten, ist die "limiting density of discrete points" von Edwin Thompson Jaynes.

Definition Bearbeiten

Eine kontinuierliche Zufallsvariable kann unendlich viele Werte annehmen, d. h. könnte man ihre Werte exakt ermitteln, wäre die Wahrscheinlichkeit für einen bestimmten Wert gleich Null:

Und somit der Informationsgehalt eines jeden Werts unendlich:

Sei eine kontinuierliche Zufallsvariable mit der Wahrscheinlichkeitsdichtefunktion , dann ist ihre differentielle Entropie definiert als

Im Gegensatz zur Shannon-Entropie kann die differentielle Entropie auch negativ sein.

Da die differentielle Entropie nicht skalierungsinvariant ist (s. u.), empfiehlt es sich, die Zufallsvariable geeignet zu normieren, sodass sie dimensionslos ist.

Eigenschaften Bearbeiten

  • Die differentielle Entropie ist verschiebungsinvariant, d. h. für konstante . Es ist somit hinreichend, mittelwertfreie Zufallsvariablen zu betrachten.
  • Für die Skalierung gilt: mit dem Zufallsvektor und dem Betrag der Determinante .

Differentielle Entropie für verschiedene Verteilungen Bearbeiten

Für eine gegebene Varianz besitzt die Gauß-Verteilung die maximale differentielle Entropie, d. h. ihre „Zufälligkeit“ oder ihr Überraschungswert ist – verglichen mit allen anderen Verteilungen – am größten. Sie wird deshalb auch zur Modellierung von Störungen beim Kanalmodell verwendet, da sie ein Worst-Case-Modell für Störungen darstellt (siehe auch additives weißes gaußsches Rauschen).

Für einen endlichen Wertebereich, d. h. ein gegebenes Betragsmaximum besitzt eine gleichverteilte Zufallsvariable die maximale differentielle Entropie.

Übersicht verschiedener Wahrscheinlichkeitsverteilungen und ihre differentielle Entropie
Verteilung Wahrscheinlichkeitsdichtefunktion Differentielle Entropie (in Bit) Träger
Gleichverteilung
Normalverteilung
Laplace-Verteilung
Symmetrische Dreiecksverteilung

Literatur Bearbeiten

  • Thomas M. Cover, Joy A. Thomas: Elements of Information Theory. John Wiley & Sons, 1991, ISBN 0-471-06259-6, S. 224–238.
  • Martin Werner: Information und Codierung. Grundlagen und Anwendungen, 2. Auflage, Vieweg+Teubner Verlag, Wiesbaden 2008, ISBN 978-3-8348-0232-3.
  • Peter Adam Höher: Grundlagen der digitalen Informationsübertragung. Von der Theorie zu Mobilfunkanwendungen, 1. Auflage, Vieweg+Teubner Verlag, Wiesbaden 2011, ISBN 978-3-8348-0880-6.

Weblinks Bearbeiten

Einzelnachweise Bearbeiten

  1. Edwin Thompson Jaynes: Prior Probabilities. In: IEEE Transactions on Systems Science and Cybernetics. Band 4, Nr. 3, 1968, ISSN 0536-1567, S. 227–241, doi:10.1109/TSSC.1968.300117 (wustl.edu [PDF; abgerufen am 1. April 2021]).
wikipedia, wiki, deutsches, deutschland, buch, bücher, bibliothek artikel lesen, herunterladen kostenlos kostenloser herunterladen, MP3, Video, MP4, 3GP, JPG, JPEG, GIF, PNG, Bild, Musik, Lied, Film, Buch, Spiel, Spiele
Veröffentlichungsdatum:
Die differentielle Entropie ist ein Begriff aus der Informationstheorie und stellt ein Mass fur die Entropie einer kontinuierlichen Zufallsvariable dar ahnlich der Shannon Entropie fur diskrete Zufallsvariablen Genaugenommen ist sie eine Kennzahl einer Wahrscheinlichkeitsverteilung Sie kann zum Vergleich zweier kontinuierlicher Zufallsvariablen herangezogen werden besitzt jedoch nicht die gleiche Aussage wie die Shannon Entropie Einen Versuch die differentielle Entropie anzupassen um ahnliche Eigenschaften wie die der Shannon Entropie zu erhalten ist die limiting density of discrete points von Edwin Thompson Jaynes 1 Inhaltsverzeichnis 1 Definition 2 Eigenschaften 3 Differentielle Entropie fur verschiedene Verteilungen 4 Literatur 5 Weblinks 6 EinzelnachweiseDefinition BearbeitenEine kontinuierliche Zufallsvariable X displaystyle X nbsp kann unendlich viele Werte annehmen d h konnte man ihre Werte exakt ermitteln ware die Wahrscheinlichkeit P displaystyle P cdot nbsp fur einen bestimmten Wert x 0 displaystyle x 0 nbsp gleich Null P X x 0 lim e 0 e f X x 0 0 displaystyle P X x 0 lim varepsilon to 0 varepsilon f X x 0 0 nbsp Und somit der Informationsgehalt eines jeden Werts unendlich lim p x 0 I p x lim p x 0 log 2 p x displaystyle lim p x to 0 I p x lim p x to 0 log 2 p x infty nbsp Sei X displaystyle X nbsp eine kontinuierliche Zufallsvariable mit der Wahrscheinlichkeitsdichtefunktion f X displaystyle f X nbsp dann ist ihre differentielle Entropie definiert als h X f X x log f X x d x E log f X x displaystyle h X int infty infty f X x log f X x text d x E log f X x nbsp Im Gegensatz zur Shannon Entropie kann die differentielle Entropie auch negativ sein Da die differentielle Entropie nicht skalierungsinvariant ist s u empfiehlt es sich die Zufallsvariable geeignet zu normieren sodass sie dimensionslos ist Eigenschaften BearbeitenDie differentielle Entropie ist verschiebungsinvariant d h h X c h X displaystyle h X c h X nbsp fur konstante c displaystyle c nbsp Es ist somit hinreichend mittelwertfreie Zufallsvariablen zu betrachten Fur die Skalierung gilt h A X h X log 2 A displaystyle h A textbf X h textbf X log 2 A nbsp mit dem Zufallsvektor X R n displaystyle textbf X in mathbb R n nbsp und dem Betrag der Determinante A displaystyle A nbsp Differentielle Entropie fur verschiedene Verteilungen BearbeitenFur eine gegebene Varianz s x 2 displaystyle sigma x 2 nbsp besitzt die Gauss Verteilung die maximale differentielle Entropie d h ihre Zufalligkeit oder ihr Uberraschungswert ist verglichen mit allen anderen Verteilungen am grossten Sie wird deshalb auch zur Modellierung von Storungen beim Kanalmodell verwendet da sie ein Worst Case Modell fur Storungen darstellt siehe auch additives weisses gausssches Rauschen Fur einen endlichen Wertebereich d h ein gegebenes Betragsmaximum besitzt eine gleichverteilte Zufallsvariable die maximale differentielle Entropie Ubersicht verschiedener Wahrscheinlichkeitsverteilungen und ihre differentielle Entropie Verteilung Wahrscheinlichkeitsdichtefunktion Differentielle Entropie in Bit TragerGleichverteilung f x 1 2 a displaystyle f x frac 1 2a nbsp log 2 2 a displaystyle log 2 2a nbsp a a displaystyle a a nbsp Normalverteilung f x 1 2 p s 2 exp x m 2 2 s 2 displaystyle f x frac 1 sqrt 2 pi sigma 2 exp left frac x mu 2 2 sigma 2 right nbsp 1 2 log 2 2 p e s x 2 displaystyle frac 1 2 log 2 2 pi e sigma x 2 nbsp displaystyle infty infty nbsp Laplace Verteilung f x 1 2 s x exp 2 x m s x displaystyle f x frac 1 sqrt 2 sigma x exp left frac sqrt 2 x mu sigma x right nbsp 1 2 log 2 2 e 2 s x 2 displaystyle frac 1 2 log 2 2e 2 sigma x 2 nbsp displaystyle infty infty nbsp Symmetrische Dreiecksverteilung f x 1 a 1 x a x a 0 x gt a displaystyle f x begin cases frac 1 a left 1 frac x a right amp forall x leq a 0 amp forall x gt a end cases nbsp 1 2 log 2 6 e s x 2 displaystyle frac 1 2 log 2 6e sigma x 2 nbsp 0 1 displaystyle 0 1 nbsp Literatur BearbeitenThomas M Cover Joy A Thomas Elements of Information Theory John Wiley amp Sons 1991 ISBN 0 471 06259 6 S 224 238 Martin Werner Information und Codierung Grundlagen und Anwendungen 2 Auflage Vieweg Teubner Verlag Wiesbaden 2008 ISBN 978 3 8348 0232 3 Peter Adam Hoher Grundlagen der digitalen Informationsubertragung Von der Theorie zu Mobilfunkanwendungen 1 Auflage Vieweg Teubner Verlag Wiesbaden 2011 ISBN 978 3 8348 0880 6 Weblinks BearbeitenDifferential Entropy Wolfram Mathworld Informations und Codierungstheorie abgerufen am 2 Februar 2018 Entropie differentielle abgerufen am 2 Februar 2018 Einzelnachweise Bearbeiten Edwin Thompson Jaynes Prior Probabilities In IEEE Transactions on Systems Science and Cybernetics Band 4 Nr 3 1968 ISSN 0536 1567 S 227 241 doi 10 1109 TSSC 1968 300117 wustl edu PDF abgerufen am 1 April 2021 Abgerufen von https de wikipedia org w index php title Differentielle Entropie amp oldid 218222733