Die Evidence lower bound kurz ELBO 1 ist eine untere Schranke der Log Likelihood Funktion beobachteter Daten X und nutzlich bei der Variational Inference Definition BearbeitenSeien X displaystyle X nbsp und Z displaystyle Z nbsp Zufallsvariablen dann gilt fur p 8 X p 8 X Z z p Z z d z displaystyle p theta X int p theta X Z z p Z z dz nbsp Unter Einfuhrung von q ϕ Z z displaystyle q phi Z z nbsp als einfach zu verwendender Stichproben Vorschlags Verteilung gilt p 8 X p 8 X Z z p Z z q ϕ Z z q ϕ Z z d z E z q ϕ p 8 X Z z p Z z q ϕ Z z displaystyle p theta X int p theta X Z z frac p Z z q phi Z z q phi Z z dz E z sim q phi left p theta X Z z frac p Z z q phi Z z right nbsp Somit gilt fur die Log Likelihood aufgrund der Jensen Ungleichung log p 8 X log E z q ϕ p 8 X Z z p Z z q ϕ Z z E z q ϕ log p 8 X Z z p Z z q ϕ Z z displaystyle log p theta X log left E z sim q phi left p theta X Z z frac p Z z q phi Z z right right geq E z sim q phi left log left p theta X Z z frac p Z z q phi Z z right right nbsp E z q ϕ log p 8 X Z z p Z z q ϕ Z z displaystyle E z sim q phi left log left p theta X Z z frac p Z z q phi Z z right right nbsp wird als ELBO bezeichnet Durch Schatzen der ELBO unter Verwendung des Stichprobenmittelwertes ist E z q ϕ log p 8 X Z z p Z z q ϕ Z z 1 N i 1 N log p 8 X Z z i p Z z i q ϕ Z z i displaystyle hat E z sim q phi left log left p theta X Z z frac p Z z q phi Z z right right frac 1 N sum i 1 N log left p theta X Z z i frac p Z z i q phi Z z i right nbsp Anwendung BearbeitenDie Minimierung der Kullback Leibler Divergenz ist aquivalent zur Maximierung der Evidence lower bound Die evidence lower bound wird bei der variational inference optimiert Einzelnachweise Bearbeiten An Introduction to Bayesian Inference Methods and Computation Nick Heard 2021 ISBN 978 3 030 82808 0 https www google de books edition An Introduction to Bayesian Inference Me 9t5IEAAAQBAJ hl de amp gbpv 1 amp dq evidence 20lower 20bound amp pg PA57 amp printsec frontcover Abgerufen von https de wikipedia org w index php title Evidence lower bound amp oldid 238187691
