www.wikidata.de-de.nina.az

Transinformation In diesem Artikel oder Abschnitt fehlen noch folgende wichtige Informationen Es wird nur der diskrete F

Transinformation

In diesem Artikel oder Abschnitt fehlen noch folgende wichtige Informationen:
Es wird nur der diskrete Fall beschrieben. Der kontinuierliche Fall fehlt
Hilf der Wikipedia, indem du sie recherchierst und einfügst.

Transinformation oder gegenseitige Information (engl. mutual information) ist eine Größe aus der Informationstheorie, die die Stärke des statistischen Zusammenhangs zweier Zufallsgrößen angibt. Die Transinformation wird auch als Synentropie bezeichnet. Im Gegensatz zur Synentropie einer Markov-Quelle erster Ordnung, welche die Redundanz einer Quelle zum Ausdruck bringt und somit minimal sein soll, stellt die Synentropie eines Kanals den mittleren Informationsgehalt dar, der vom Sender zum Empfänger gelangt und somit maximal sein soll.

Gelegentlich wird auch die Bezeichnung relative Entropie verwendet, da die Transinformation ein Spezialfall der Kullback-Leibler-Divergenz ist.

Die Transinformation steht in einem engen Zusammenhang zur Entropie und zur bedingten Entropie.

Definition Bearbeiten

Für zwei Zufallsvariablen und sei die gemeinsame diskrete Wahrscheinlichkeitsverteilung mit den Wahrscheinlichkeiten und den zugehörigen Randverteilungen und mit den Wahrscheinlichkeiten und Dann ist die Transinformation als

definiert.

Die Transinformation kann als Erwartungswert bezüglich der gemeinsamen Verteilung von und aufgefasst werden:

Dabei sind , und Zufallsvariablen und die Erwartungsbildung bezieht sich auf die gemeinsame Verteilung von und .

Beziehung zu verschiedenen Entropie- und Informations-Maßzahlen Bearbeiten

  • Zu den Entropien
der Zufallsvariablen (bzw. der Verteilung ),
der Zufallsvariablen (bzw. der Verteilung ) und
des Zufallsvektors (bzw. der zweidimensionalen Verteilung ) besteht die Beziehung
die auch alternativ zur Definition der Transinformation verwendet werden kann.
  • Die Transinformation ist die Kullback-Leibler-Divergenz der gemeinsamen Wahrscheinlichkeitsverteilung bezüglich der Produktverteilung der beiden Randverteilungen und , es gilt also
Auch dieser Zusammenhang kann zur Definition der Transinformation verwendet werden.
  • Mit der bedingten Entropie
besteht die Beziehung
Mit der bedingten Entropie
besteht die Beziehung
Im Zusammenhang mit der Interpretation als Informationsübertragung von einer Informationsquelle (Sender) zu einer Informationssenke (Empfänger) heißen Quell-Entropie und Äquivokation, so dass "Quell-Entropie = Transinformation + Äquivokation" gilt, und heißen Empfangs-Entropie und Fehlinformation, so dass "Empfangs-Entropie = Transinformation + Fehlinformation" gilt.

Eigenschaften und Interpretation Bearbeiten

Darstellung in einem Sankey-Diagramm: Ein gedächtnisloser Kanal verbindet die zwei Quellen X und Y. Von X nach Y fließt Transinformation. Die Empfänger-Quelle Y der Entsende-Quelle X verhält sich wie eine Quelle. Es wird nicht zwischen Empfänger und Entsender unterschieden. Je mehr die Quellen voneinander abhängen, desto mehr Transinformation ist vorhanden.
Zwei gedächtnislose Kanäle verbinden drei Quellen. Von der Senderquelle X kann der Empfängerquelle Y eine Transinformation von I(x;y) übermittelt werden. Wird diese Transinformation weiter geleitet so empfängt die Empfängerquelle Z eine Transinformation von I(X;Z). Man kann hier deutlich sehen, dass die Transinformation von der Menge an Äquivokation abhängt.

Verschwindet die Transinformation, so spricht man von statistischer Unabhängigkeit der beiden Zufallsgrößen. Die Transinformation wird maximal, wenn sich eine Zufallsgröße vollkommen aus der anderen berechnen lässt. Die Transinformation beruht auf der von Claude Shannon eingeführten Definition der Information mit Hilfe der Entropie (Unsicherheit, mittlerer Informationsgehalt). Nimmt die Transinformation zu, so verringert sich die Unsicherheit über eine Zufallsgröße unter der Voraussetzung, dass die andere bekannt ist. Ist die Transinformation maximal, verschwindet die Unsicherheit folglich. Wie aus der formalen Definition zu sehen ist, wird die Ungewissheit einer Zufallsvariable durch Kenntnis einer anderen reduziert. Dies drückt sich in der Transinformation aus.

Die Transinformation spielt beispielsweise bei der Datenübertragung eine Rolle. Mit ihr lässt sich die Kanalkapazität eines Kanals bestimmen.

Entsprechend kann auch eine Entropie H(Z) von zwei verschiedenen, wiederum voneinander abhängigen, Entropien abhängen:

In der Fachliteratur werden verschiedene Begriffe verwendet. Die Äquivokation wird auch als „Verlustentropie“ und die Fehlinformation auch als „Irrelevanz“ bezeichnet. Die Transinformation wird auch als „Transmission“ oder „mittlerer Transinformationsgehalt“ bezeichnet.

Literatur Bearbeiten

  • Martin Werner: Information und Codierung. Grundlagen und Anwendungen, 2. Auflage, Vieweg + Teubner Verlag, Wiesbaden 2008, ISBN 978-3-8348-0232-3.
  • Herbert Schneider-Obermann: Basiswissen der Elektro-, Digital- und Informationstechnik. 1. Auflage. Friedrich Vieweg & Sohn Verlag / GWV Fachverlage GmbH, Wiesbaden 2006, ISBN 978-3-528-03979-0.
  • D. Krönig, M. Lang (Hrsg.): Physik und Informatik – Informatik und Physik. Springer Verlag, Berlin/Heidelberg 1991, ISBN 978-3-540-55298-7.

Weblinks Bearbeiten

Einzelnachweise Bearbeiten

  1. R. López De Mántaras: A Distance-Based Attribute Selection Measure for Decision Tree Induction. In: Machine Learning. Band 6, Nr. 1, 1. Januar 1991, ISSN 0885-6125, S. 81–92, doi:10.1023/A:1022694001379 (springer.com [abgerufen am 14. Mai 2016]).
  2. ↑ Horst Rinne: Taschenbuch der Statistik. 4. Auflage. Harri Deutsch, Frankfurt am Main 2008, ISBN 978-3-8171-1827-4, S. 64.
wikipedia, wiki, deutsches, deutschland, buch, bücher, bibliothek artikel lesen, herunterladen kostenlos kostenloser herunterladen, MP3, Video, MP4, 3GP, JPG, JPEG, GIF, PNG, Bild, Musik, Lied, Film, Buch, Spiel, Spiele
Veröffentlichungsdatum:
In diesem Artikel oder Abschnitt fehlen noch folgende wichtige Informationen Es wird nur der diskrete Fall beschrieben Der kontinuierliche Fall fehlt Hilf der Wikipedia indem du sie recherchierst und einfugst Transinformation oder gegenseitige Information engl mutual information ist eine Grosse aus der Informationstheorie die die Starke des statistischen Zusammenhangs zweier Zufallsgrossen angibt Die Transinformation wird auch als Synentropie bezeichnet Im Gegensatz zur Synentropie einer Markov Quelle erster Ordnung welche die Redundanz einer Quelle zum Ausdruck bringt und somit minimal sein soll stellt die Synentropie eines Kanals den mittleren Informationsgehalt dar der vom Sender zum Empfanger gelangt und somit maximal sein soll Gelegentlich wird auch die Bezeichnung relative Entropie verwendet da die Transinformation ein Spezialfall der Kullback Leibler Divergenz ist Die Transinformation steht in einem engen Zusammenhang zur Entropie und zur bedingten Entropie Inhaltsverzeichnis 1 Definition 2 Beziehung zu verschiedenen Entropie und Informations Masszahlen 3 Eigenschaften und Interpretation 4 Literatur 5 Weblinks 6 EinzelnachweiseDefinition BearbeitenFur zwei Zufallsvariablen X displaystyle X nbsp und Y displaystyle Y nbsp sei P 2 displaystyle P 2 nbsp die gemeinsame diskrete Wahrscheinlichkeitsverteilung mit den Wahrscheinlichkeiten p x y displaystyle p x y nbsp und den zugehorigen Randverteilungen P displaystyle P nbsp und Q displaystyle Q nbsp mit den Wahrscheinlichkeiten p x displaystyle p x nbsp und q y displaystyle q y nbsp Dann ist die Transinformation als I X Y x y p x y log 2 p x y p x q y displaystyle I X Y sum x sum y p x y cdot log 2 left frac p x y p x q y right nbsp 1 2 definiert Die Transinformation I X Y displaystyle I X Y nbsp kann als Erwartungswert bezuglich der gemeinsamen Verteilung von X displaystyle X nbsp und Y displaystyle Y nbsp aufgefasst werden I X Y E log 2 p X Y p X q Y displaystyle I X Y mathbb E left log 2 left frac p X Y p X q Y right right nbsp Dabei sind p X Y displaystyle p X Y nbsp p X displaystyle p X nbsp und q Y displaystyle q Y nbsp Zufallsvariablen und die Erwartungsbildung bezieht sich auf die gemeinsame Verteilung von X displaystyle X nbsp und Y displaystyle Y nbsp Beziehung zu verschiedenen Entropie und Informations Masszahlen BearbeitenZu den EntropienH X x p x log 2 p x displaystyle H X sum x p x log 2 p x nbsp dd der Zufallsvariablen X displaystyle X nbsp bzw der Verteilung P displaystyle P nbsp H Y y q y log 2 q y displaystyle H Y sum y q y log 2 q y nbsp dd der Zufallsvariablen Y displaystyle Y nbsp bzw der Verteilung Q displaystyle Q nbsp undH X Y x y p x y log 2 p x y displaystyle H X Y sum x sum y p x y log 2 left p x y right nbsp dd des Zufallsvektors X Y displaystyle X Y nbsp bzw der zweidimensionalen Verteilung P 2 displaystyle P 2 nbsp besteht die BeziehungI X Y H X H Y H X Y displaystyle I X Y H X H Y H X Y nbsp dd die auch alternativ zur Definition der Transinformation verwendet werden kann 2 Die Transinformation ist die Kullback Leibler Divergenz D displaystyle D cdot cdot nbsp der gemeinsamen Wahrscheinlichkeitsverteilung P 2 displaystyle P 2 nbsp bezuglich der Produktverteilung P Q displaystyle P otimes Q nbsp der beiden Randverteilungen P displaystyle P nbsp und Q displaystyle Q nbsp es gilt alsoI X Y D P 2 P Q displaystyle I X Y D P 2 P otimes Q nbsp dd Auch dieser Zusammenhang kann zur Definition der Transinformation verwendet werden Mit der bedingten EntropieH X Y x y p x y log 2 p x y x y p x y log 2 p x y q y displaystyle H X vert Y sum x sum y p x y log 2 p x vert y sum x sum y p x y log 2 left frac p x y q y right nbsp dd besteht die BeziehungI X Y H X H X Y displaystyle I X Y H X H X vert Y nbsp dd Mit der bedingten EntropieH Y X x y p x y log 2 p y x x y p x y log 2 p x y p x displaystyle H Y vert X sum x sum y p x y log 2 p y vert x sum x sum y p x y log 2 left frac p x y p x right nbsp dd besteht die BeziehungI X Y H Y H Y X displaystyle I X Y H Y H Y vert X nbsp dd Im Zusammenhang mit der Interpretation als Informationsubertragung von einer Informationsquelle Sender X displaystyle X nbsp zu einer Informationssenke Empfanger Y displaystyle Y nbsp heissen H X displaystyle H X nbsp Quell Entropie und H X Y displaystyle H X vert Y nbsp Aquivokation so dass Quell Entropie Transinformation Aquivokation gilt und heissen H Y displaystyle H Y nbsp Empfangs Entropie und H Y X displaystyle H Y vert X nbsp Fehlinformation so dass Empfangs Entropie Transinformation Fehlinformation gilt Eigenschaften und Interpretation Bearbeiten nbsp Darstellung in einem Sankey Diagramm Ein gedachtnisloser Kanal verbindet die zwei Quellen X und Y Von X nach Y fliesst Transinformation Die Empfanger Quelle Y der Entsende Quelle X verhalt sich wie eine Quelle Es wird nicht zwischen Empfanger und Entsender unterschieden Je mehr die Quellen voneinander abhangen desto mehr Transinformation ist vorhanden nbsp Zwei gedachtnislose Kanale verbinden drei Quellen Von der Senderquelle X kann der Empfangerquelle Y eine Transinformation von I x y ubermittelt werden Wird diese Transinformation weiter geleitet so empfangt die Empfangerquelle Z eine Transinformation von I X Z Man kann hier deutlich sehen dass die Transinformation von der Menge an Aquivokation abhangt Verschwindet die Transinformation so spricht man von statistischer Unabhangigkeit der beiden Zufallsgrossen Die Transinformation wird maximal wenn sich eine Zufallsgrosse vollkommen aus der anderen berechnen lasst Die Transinformation beruht auf der von Claude Shannon eingefuhrten Definition der Information mit Hilfe der Entropie Unsicherheit mittlerer Informationsgehalt Nimmt die Transinformation zu so verringert sich die Unsicherheit uber eine Zufallsgrosse unter der Voraussetzung dass die andere bekannt ist Ist die Transinformation maximal verschwindet die Unsicherheit folglich Wie aus der formalen Definition zu sehen ist wird die Ungewissheit einer Zufallsvariable durch Kenntnis einer anderen reduziert Dies druckt sich in der Transinformation aus Die Transinformation spielt beispielsweise bei der Datenubertragung eine Rolle Mit ihr lasst sich die Kanalkapazitat eines Kanals bestimmen Entsprechend kann auch eine Entropie H Z von zwei verschiedenen wiederum voneinander abhangigen Entropien abhangen In der Fachliteratur werden verschiedene Begriffe verwendet Die Aquivokation wird auch als Verlustentropie und die Fehlinformation auch als Irrelevanz bezeichnet Die Transinformation wird auch als Transmission oder mittlerer Transinformationsgehalt bezeichnet Literatur BearbeitenMartin Werner Information und Codierung Grundlagen und Anwendungen 2 Auflage Vieweg Teubner Verlag Wiesbaden 2008 ISBN 978 3 8348 0232 3 Herbert Schneider Obermann Basiswissen der Elektro Digital und Informationstechnik 1 Auflage Friedrich Vieweg amp Sohn Verlag GWV Fachverlage GmbH Wiesbaden 2006 ISBN 978 3 528 03979 0 D Kronig M Lang Hrsg Physik und Informatik Informatik und Physik Springer Verlag Berlin Heidelberg 1991 ISBN 978 3 540 55298 7 Weblinks BearbeitenPeter E Latham Yasser Roudi Mutual information In Scholarpedia englisch inkl Literaturangaben Informationskanale und ihre Kapazitat abgerufen am 26 Februar 2018 Entropy Transinformation and Word Distribution of Information Carrying Sequences abgerufen am 26 Februar 2018 Informations und Kodierungstheorie abgerufen am 26 Februar 2018 Formeln und Notizen Informationstheorie abgerufen am 26 Februar 2018 Einzelnachweise Bearbeiten R Lopez De Mantaras A Distance Based Attribute Selection Measure for Decision Tree Induction In Machine Learning Band 6 Nr 1 1 Januar 1991 ISSN 0885 6125 S 81 92 doi 10 1023 A 1022694001379 springer com abgerufen am 14 Mai 2016 a b Horst Rinne Taschenbuch der Statistik 4 Auflage Harri Deutsch Frankfurt am Main 2008 ISBN 978 3 8171 1827 4 S 64 Abgerufen von https de wikipedia org w index php title Transinformation amp oldid 238142676