www.wikidata.de-de.nina.az

Rényi Entropie In der Informationstheorie ist die benannt nach Alfréd Rényi eine Verallgemeinerung der Shannon Entropie

Rényi-Entropie

In der Informationstheorie ist die Rényi-Entropie (benannt nach Alfréd Rényi) eine Verallgemeinerung der Shannon-Entropie. Die Rényi-Entropie gehört zu der Familie von Funktionen, die zum Quantifizieren der Diversität, Ungewissheit oder Zufälligkeit eines Systems dienen.

Die Rényi-Entropie der Ordnung α, wobei α > 0, ist definiert als:

Hierbei ist X eine Zufallsvariable mit Wertebereich {x1, x2 ... xn} und pi die Wahrscheinlichkeit, dass X=xi. Wenn die Wahrscheinlichkeiten pi alle gleich sind, dann ist Hα(X)=log2 n, unabhängig von α. Andernfalls sind die Entropien monoton fallend als eine Funktion von α.

Hier einige Einzelfälle:

welche der Logarithmus der Mächtigkeit von X ist, der manchmal auch die „Hartley-Entropie“ von X genannt wird.

Nähert sich die Grenze von gegen 1 (L’Hospital) so ergibt sich:

das der „Shannon-Entropie/Informationsentropie“ entspricht.

Weiter

das der „Korrelationsentropie“ entspricht. Der Grenzwert von für ist

und wird auch Min-Entropie genannt, da es der kleinste Wert von ist.

Die Rényi-Entropien sind in der Ökologie und Statistik als Indizes der Vielfältigkeit wichtig. Sie führen auch zu einem Spektrum von Indizes der fraktalen Dimension.

Literatur Bearbeiten

  • Dieter Masak: IT-Alignment. IT-Architektur und Organisation, Springer Verlag, Berlin / Heidelberg 2006, ISBN 978-3-540-31153-9.
  • Lienhard Pagel: Information ist Energie. Definition eines physikalisch begründeten Informationsbegriffs, Springer Fachmedien, Wiesbaden 2013, ISBN 978-3-8348-2611-4.

Weblinks Bearbeiten

wikipedia, wiki, deutsches, deutschland, buch, bücher, bibliothek artikel lesen, herunterladen kostenlos kostenloser herunterladen, MP3, Video, MP4, 3GP, JPG, JPEG, GIF, PNG, Bild, Musik, Lied, Film, Buch, Spiel, Spiele
Veröffentlichungsdatum:
In der Informationstheorie ist die Renyi Entropie benannt nach Alfred Renyi eine Verallgemeinerung der Shannon Entropie Die Renyi Entropie gehort zu der Familie von Funktionen die zum Quantifizieren der Diversitat Ungewissheit oder Zufalligkeit eines Systems dienen Die Renyi Entropie der Ordnung a wobei a gt 0 ist definiert als H a X 1 1 a log 2 i 1 n p i a displaystyle H alpha X frac 1 1 alpha log 2 Bigg sum i 1 n p i alpha Bigg Hierbei ist X eine Zufallsvariable mit Wertebereich x1 x2 xn und pi die Wahrscheinlichkeit dass X xi Wenn die Wahrscheinlichkeiten pi alle gleich sind dann ist Ha X log2 n unabhangig von a Andernfalls sind die Entropien monoton fallend als eine Funktion von a Hier einige Einzelfalle H 0 X log 2 n log 2 X displaystyle H 0 X log 2 n log 2 X welche der Logarithmus der Machtigkeit von X ist der manchmal auch die Hartley Entropie von X genannt wird Nahert sich die Grenze von a displaystyle alpha gegen 1 L Hospital so ergibt sich H 1 X i 1 n p i log 2 p i displaystyle H 1 X sum i 1 n p i log 2 p i das der Shannon Entropie Informationsentropie entspricht Weiter H 2 X log 2 i 1 n p i 2 displaystyle H 2 X log 2 sum i 1 n p i 2 das der Korrelationsentropie entspricht Der Grenzwert von H a displaystyle H alpha fur a displaystyle alpha rightarrow infty ist H X log 2 sup i 1 n p i displaystyle H infty X log 2 sup i 1 n p i und wird auch Min Entropie genannt da es der kleinste Wert von H a displaystyle H alpha ist Die Renyi Entropien sind in der Okologie und Statistik als Indizes der Vielfaltigkeit wichtig Sie fuhren auch zu einem Spektrum von Indizes der fraktalen Dimension Literatur BearbeitenDieter Masak IT Alignment IT Architektur und Organisation Springer Verlag Berlin Heidelberg 2006 ISBN 978 3 540 31153 9 Lienhard Pagel Information ist Energie Definition eines physikalisch begrundeten Informationsbegriffs Springer Fachmedien Wiesbaden 2013 ISBN 978 3 8348 2611 4 Weblinks BearbeitenShannon Entropy Renyi Entropy and Information abgerufen am 23 Februar 2018 Renyi Entropy and the Uncertainty Relations abgerufen am 23 Februar 2018 Berechnung von Information und Komplexitat abgerufen am 23 Februar 2018 Characterizations of Shannon and Renyi entropy abgerufen am 23 Februar 2018 Convexity Concavity of Renyi Entropy and a Mutual Information abgerufen am 23 Februar 2018 Abgerufen von https de wikipedia org w index php title Renyi Entropie amp oldid 235419981