Kullback Leibler Divergenz Die Begriffe kurz KL Divergenz Kullback Leibler Abstand und relative Entropie bezeichnen ein

Kullback-Leibler-Divergenz

Die Begriffe Kullback-Leibler-Divergenz (kurz KL-Divergenz), Kullback-Leibler-Abstand und relative Entropie bezeichnen ein Maß für die Unterschiedlichkeit zweier Wahrscheinlichkeitsverteilungen. Typischerweise repräsentiert dabei eine der Verteilungen empirische Beobachtungen oder eine präzise Wahrscheinlichkeitsverteilung, während die andere ein Modell oder eine Approximation darstellt.

Weitere geläufige Bezeichnungen für die KL-Divergenz sind auch Kullback-Leibler-Entropie oder Kullback-Leibler-Information, nach Solomon Kullback und Richard Leibler; englisch Information Gain.

Ein Spezialfall der KL-Divergenz ist die Transinformation.

Definition Bearbeiten

Die KL-Divergenz wird häufig mit einem (für "Divergenz") oder mit einem bzw. notiert. Letzteres kommt daher, dass die Entropie mit einem Eta notiert wird.

Diskreter Fall Bearbeiten

Für zwei diskrete Wahrscheinlichkeitsverteilungen und mit Wahrscheinlichkeitsfunktionen und auf einer Menge ist die KL-Divergenz als

definiert.

Stetiger Fall Bearbeiten

Für zwei stetige Wahrscheinlichkeitsverteilungen und mit Dichten und ist die KL-Divergenz als

definiert.

Allgemeiner Fall Bearbeiten

Geben ist ein messbarer Raum mit zwei Wahrscheinlichkeitsmaßen und , weiter sei absolut stetig bezüglich . Dann ist die Kullback-Leibler-Divergenz

wobei die Radon-Nikodým-Ableitung von bezüglich ist.

Erläuterungen Bearbeiten

Die Kullback-Leibler-Divergenz gibt aus informationstheoretischer Sicht an, wie viel Platz pro Zeichen im Mittel verschwendet wird, wenn eine auf basierende Kodierung auf eine Informationsquelle angewendet wird, die der tatsächlichen Verteilung folgt. Somit besteht ein Zusammenhang zur Kanalkapazität. Mathematisch ist dies verträglich mit der Aussage, dass die KL-Divergenz ist und Gleichheit nur dann gilt, wenn P und Q identisch sind.

Die konkrete Wahl der Basis des Logarithmus in der Berechnung hängt dabei davon ab, in welcher Informationseinheit gerechnet werden soll. In der Praxis gibt man die KL-Divergenz häufig in Bit bzw. Shannon an und verwendet dafür die Basis 2, seltener werden auch Nit (Basis ) und Ban (Basis 10) gebraucht.

Anstatt der Kullback-Leibler-Divergenz wird auch oft die Kreuzentropie verwendet. Diese liefert qualitativ vergleichbare Werte, kann jedoch ohne die genaue Kenntnis von geschätzt werden. In praktischen Anwendungen ist dies vorteilhaft, da die tatsächliche Hintergrundverteilung der Beobachtungsdaten meist unbekannt ist.

Die Minimierung der Kullback-Leibler-Divergenz ist äquivalent zur Maximierung der Evidence lower bound.

Abgrenzung Distanz Bearbeiten

Obwohl die Kullback-Leibler-Divergenz teilweise auch als Kullback-Leibler-Distanz bezeichnet wird, erfüllt sie eine fundamentale Anforderung an Distanzmaße nicht: Sie ist nicht symmetrisch, es gilt also im Allgemeinen . Um Symmetrie herzustellen, kann alternativ die Summe der beiden Divergenzen verwendet werden, die offensichtlich symmetrisch ist:

Multivariate Normalverteilungen Bearbeiten

Für zwei mehrdimensionale Normalverteilungen (mit Dimension ), mit Mittelwerten und (nicht-singulären) Kovarianzmatrizen ist die Kullback-Leibler-Divergenz gegeben durch:

Belege Bearbeiten

S. Kullback, R. A. Leibler: On information and sufficiency. In: Annals of Mathematical Statistics. Band 22, Nr. 1, März 1951, S. 79–86.
S. Kullback: Information theory and statistics. Hrsg.: John Wiley & Sons. 1959.

Einzelnachweise Bearbeiten

J. Duchi: Derivations for Linear Algebra and Optimization. S. 13.

wikipedia, wiki, deutsches, deutschland, buch, bücher, bibliothek artikel lesen, herunterladen kostenlos kostenloser herunterladen, MP3, Video, MP4, 3GP, JPG, JPEG, GIF, PNG, Bild, Musik, Lied, Film, Buch, Spiel, Spiele

Veröffentlichungsdatum: November 27, 2023, 21:14 pm

Die Begriffe Kullback Leibler Divergenz kurz KL Divergenz Kullback Leibler Abstand und relative Entropie bezeichnen ein Mass fur die Unterschiedlichkeit zweier Wahrscheinlichkeitsverteilungen Typischerweise reprasentiert dabei eine der Verteilungen empirische Beobachtungen oder eine prazise Wahrscheinlichkeitsverteilung wahrend die andere ein Modell oder eine Approximation darstellt Weitere gelaufige Bezeichnungen fur die KL Divergenz sind auch Kullback Leibler Entropie oder Kullback Leibler Information nach Solomon Kullback und Richard Leibler englisch Information Gain Ein Spezialfall der KL Divergenz ist die Transinformation Inhaltsverzeichnis 1 Definition 1 1 Diskreter Fall 1 2 Stetiger Fall 1 3 Allgemeiner Fall 1 4 Erlauterungen 1 5 Abgrenzung Distanz 2 Multivariate Normalverteilungen 3 Belege 4 EinzelnachweiseDefinition BearbeitenDie KL Divergenz wird haufig mit einem D displaystyle D nbsp fur Divergenz oder mit einem H displaystyle H nbsp bzw H displaystyle mathrm H nbsp notiert Letzteres kommt daher dass die Entropie mit einem Eta notiert wird Diskreter Fall Bearbeiten Fur zwei diskrete Wahrscheinlichkeitsverteilungen P displaystyle P nbsp und Q displaystyle Q nbsp mit Wahrscheinlichkeitsfunktionen p x P x displaystyle p x P x nbsp und q x Q x displaystyle q x Q x nbsp auf einer Menge X displaystyle X nbsp ist die KL Divergenz als D P Q K L P Q x X p x log p x q x displaystyle D P Q KL P Q sum x in X p x log left p x over q x right nbsp definiert Stetiger Fall Bearbeiten Fur zwei stetige Wahrscheinlichkeitsverteilungen P displaystyle P nbsp und Q displaystyle Q nbsp mit Dichten p displaystyle p nbsp und q displaystyle q nbsp ist die KL Divergenz als D P Q p x log p x q x d x displaystyle D P Q int infty infty p x log left frac p x q x right mathrm d x nbsp definiert Allgemeiner Fall Bearbeiten Geben ist ein messbarer Raum E F displaystyle E mathcal F nbsp mit zwei Wahrscheinlichkeitsmassen m displaystyle mu nbsp und n displaystyle nu nbsp weiter sei m displaystyle mu nbsp absolut stetig bezuglich n displaystyle nu nbsp Dann ist die Kullback Leibler Divergenz H m n E log d m d n d m E d m d n log d m d n d n displaystyle H mu mid nu int E log left frac d mu d nu right d mu int E frac d mu d nu log left frac d mu d nu right d nu nbsp wobei d m d n displaystyle frac d mu d nu nbsp die Radon Nikodym Ableitung von m displaystyle mu nbsp bezuglich n displaystyle nu nbsp ist Erlauterungen Bearbeiten Die Kullback Leibler Divergenz gibt aus informationstheoretischer Sicht an wie viel Platz pro Zeichen im Mittel verschwendet wird wenn eine auf Q displaystyle Q nbsp basierende Kodierung auf eine Informationsquelle angewendet wird die der tatsachlichen Verteilung P displaystyle P nbsp folgt Somit besteht ein Zusammenhang zur Kanalkapazitat Mathematisch ist dies vertraglich mit der Aussage dass die KL Divergenz 0 displaystyle geq 0 nbsp ist und Gleichheit nur dann gilt wenn P und Q identisch sind Die konkrete Wahl der Basis des Logarithmus in der Berechnung hangt dabei davon ab in welcher Informationseinheit gerechnet werden soll In der Praxis gibt man die KL Divergenz haufig in Bit bzw Shannon an und verwendet dafur die Basis 2 seltener werden auch Nit Basis e displaystyle e nbsp und Ban Basis 10 gebraucht Anstatt der Kullback Leibler Divergenz wird auch oft die Kreuzentropie verwendet Diese liefert qualitativ vergleichbare Werte kann jedoch ohne die genaue Kenntnis von P displaystyle P nbsp geschatzt werden In praktischen Anwendungen ist dies vorteilhaft da die tatsachliche Hintergrundverteilung der Beobachtungsdaten meist unbekannt ist Die Minimierung der Kullback Leibler Divergenz ist aquivalent zur Maximierung der Evidence lower bound Abgrenzung Distanz Bearbeiten Obwohl die Kullback Leibler Divergenz teilweise auch als Kullback Leibler Distanz bezeichnet wird erfullt sie eine fundamentale Anforderung an Distanzmasse nicht Sie ist nicht symmetrisch es gilt also im Allgemeinen D P Q D Q P displaystyle D P Q neq D Q P nbsp Um Symmetrie herzustellen kann alternativ die Summe der beiden Divergenzen verwendet werden die offensichtlich symmetrisch ist D 2 P Q D 2 Q P D P Q D Q P displaystyle D 2 P Q D 2 Q P D P Q D Q P nbsp Multivariate Normalverteilungen BearbeitenFur zwei mehrdimensionale Normalverteilungen mit Dimension k displaystyle k nbsp mit Mittelwerten m 0 m 1 displaystyle mu 0 mu 1 nbsp und nicht singularen Kovarianzmatrizen S 0 S 1 displaystyle Sigma 0 Sigma 1 nbsp ist die Kullback Leibler Divergenz gegeben durch 1 D KL N 0 N 1 1 2 Spur S 1 1 S 0 m 1 m 0 T S 1 1 m 1 m 0 k log det S 1 det S 0 displaystyle D text KL mathcal N 0 parallel mathcal N 1 frac 1 2 left operatorname Spur left Sigma 1 1 Sigma 0 right mu 1 mu 0 mathsf T Sigma 1 1 mu 1 mu 0 k log left frac det Sigma 1 det Sigma 0 right right nbsp Belege BearbeitenS Kullback R A Leibler On information and sufficiency In Annals of Mathematical Statistics Band 22 Nr 1 Marz 1951 S 79 86 S Kullback Information theory and statistics Hrsg John Wiley amp Sons 1959 Einzelnachweise Bearbeiten J Duchi Derivations for Linear Algebra and Optimization S 13 Abgerufen von https de wikipedia org w index php title Kullback Leibler Divergenz amp oldid 238501448