www.wikidata.de-de.nina.az

Fisher Information Die benannt nach dem Statistiker Ronald Fisher ist eine Kenngröße aus der mathematischen Statistik di

Fisher-Information

Die Fisher-Information (benannt nach dem Statistiker Ronald Fisher) ist eine Kenngröße aus der mathematischen Statistik, die für eine Familie von Wahrscheinlichkeitsdichten definiert werden kann und Aussagen über die bestmögliche Qualität von Parameterschätzungen in diesem Modell liefert. Die Fisher-Information spielt in der asymptotischen Theorie der Maximum-Likelihood-Schätzung eine wichtige Rolle und wird auch in der Bayes-Statistik bei der Berechnung von Priorverteilungen verwendet. Sie kann auch bei der Formulierung von Teststatistiken, wie beim Wald-Test verwendet werden.

Definition Bearbeiten

Gegeben sei ein einparametriges statistisches Standardmodell , das heißt,

Des Weiteren sei eine offene Menge und es existiere die Score-Funktion

und sei endlich. Dann wird die Fisher-Information des Modells entweder definiert als

oder als

Dabei bezeichnet den Erwartungswert und bezeichnet die Varianz bezüglich der Wahrscheinlichkeitsverteilung . Unter der Regularitätsbedingung

fallen die beiden Definitionen zusammen. Gilt zusätzlich die Regularitätsbedingung

so ist die Fisher-Information gegeben durch

Bemerkungen zur Definition Bearbeiten

Folgende Dinge sind bei der Definition zu beachten:

  • Daraus, dass das Modell einparametrisch ist, folgt nicht, dass es sich um Wahrscheinlichkeitsverteilungen über einem eindimensionalen Grundraum handelt. Einparametrig bedeutet lediglich, dass die Verteilungen durch einen eindimensionalen Parameter bestimmt werden. An die Dimension des Grundraumes werden keine Anforderungen gestellt.
  • In den meisten Fällen ist das Maß , bezüglich dessen die Dichtefunktionen definiert sind, entweder das Lebesgue-Maß oder das Zählmaß. Handelt es sich um das Zählmaß, so sind die Dichtefunktionen Wahrscheinlichkeitsfunktionen, das Integral wird dementsprechend durch eine Summe ersetzt. Handelt es sich um das Lebesgue-Maß, so ist das Integral ein Lebesgue-Integral, kann jedoch in den meisten Fällen durch das herkömmlich Riemann-Integral ersetzt werden. Man schreibt dann dementsprechend anstelle von .
  • Hinreichend für die Existenz der Score-Funktion ist beispielsweise, dass auf ganz positiv ist und stetig differenzierbar nach .
  • Die erste Regularitätsbedingung gilt beispielsweise per Definition in regulären statistischen Modellen. Meist zeigt man die Vertauschbarkeit von Integration und Differentiation mit den klassischen Aussagen der Analysis.
  • Unter der ersten Regularitätsbedingung ist die Score-Funktion zentriert, das heißt, es ist . Daraus folgt mittels des Verschiebungssatzes der Varianz die Äquivalenz der ersten beiden Definition der Fisher-Information.

Beispiele Bearbeiten

Diskreter Grundraum: Poisson-Verteilung Bearbeiten

Als statistisches Modell sei der Grundraum gegeben, versehen mit der σ-Algebra , der Potenzmenge. Für sei die Poisson-Verteilung. Demnach ist die Dichtefunktion, hier bezüglich des Zählmaßes, gegeben durch

Damit ergibt sich die Score-Funktion zu

Damit ist die Fisher-Information nach den Rechenregeln für die Varianz unter linearen Transformationen

Stetiger Grundraum: Exponentialverteilung Bearbeiten

Als statistisches Modell sei diesmal und gewählt. Die seien Exponentialverteilt zum Parameter . Somit besitzen sie die Dichtefunktion (bezüglich des Lebesgue-Maßes)

Demnach ist die Score-Funktion

folglich ist die Fisher-Information

Fisher-Information einer Exponentialfamilie Bearbeiten

Ist durch eine einparametrige Exponentialfamilie gegeben, besitzt also die Dichtefunktion

so ist die Score-Funktion gegeben durch

Daraus folgt für die Fisher-Information

Ist die Exponentialfamilie in der natürlichen Parametrisierung gegeben, als , so vereinfacht sich dies zu

In diesem Fall ist also die Varianz der kanonischen Statistik die Fisher-Information.

Eigenschaften und Anwendungen Bearbeiten

Additivität Bearbeiten

Die Fisher-Information ist im Fall unabhängig und identisch verteilter Zufallsvariablen unter der ersten Regularitätsbedingung additiv, das heißt, für die Fisher-Information einer Stichprobe unabhängiger und identisch verteilter Zufallsvariabler mit Fisher-Information gilt

Diese Eigenschaft folgt direkt aus der Gleichung von Bienaymé. Die Fisher-Information nimmt also proportional zur Anzahl der Beobachtungen zu.

Suffizienz Bearbeiten

Ferner gilt für suffiziente Statistiken , dass die Fisher-Information bezüglich dieselbe wie für ist, wobei gilt.

Verwendung Bearbeiten

Benutzt wird die Fisher-Information speziell in der Cramér-Rao-Ungleichung, wo ihr Kehrwert bei Gültigkeit der angesprochenen Regularitätsbedingung eine untere Schranke für die Varianz eines Schätzers für liefert: Ist ein erwartungstreuer Schätzer für den unbekannten Parameter , dann gilt .

Erweiterungen auf höhere Dimensionen Bearbeiten

Falls das Modell von mehreren Parametern mit abhängt, lässt sich die Fisher-Information als symmetrische Matrix definieren, wobei

gilt. Sie wird die Fisher-Informationsmatrix genannt. Die Eigenschaften bleiben im Wesentlichen erhalten. Unter der Regularitätsbedingung ist die Kovarianzmatrix der Score-Funktion.

Beispiel: Normalverteilung Bearbeiten

Ist normalverteilt mit Erwartungswert als Parameter und bekannter Varianz , dann ist . Es folgt

also

Betrachtet man dagegen sowohl den Erwartungswert als auch die Varianz als unbekannte Parameter, so ergibt sich

als Fisher-Informationsmatrix.

Literatur Bearbeiten

  • Hans-Otto Georgii: Stochastik. Einführung in die Wahrscheinlichkeitstheorie und Statistik. 4. Auflage. Walter de Gruyter, Berlin 2009, ISBN 978-3-11-021526-7, doi:10.1515/9783110215274.
  • Ludger Rüschendorf: Mathematische Statistik. Springer Verlag, Berlin Heidelberg 2014, ISBN 978-3-642-41996-6, doi:10.1007/978-3-642-41997-3.
  • Claudia Czado, Thorsten Schmidt: Mathematische Statistik. Springer-Verlag, Berlin Heidelberg 2011, ISBN 978-3-642-17260-1, doi:10.1007/978-3-642-17261-8.
  • Helmut Pruscha: Vorlesungen über Mathematische Statistik. B. G. Teubner, Stuttgart 2000, ISBN 3-519-02393-8, Abschnitt V.1.

Einzelnachweise Bearbeiten

  1. Georgii: Stochastik. 2009, S. 210.
  2. Czado Schmidt: Mathematische Statistik. 2011, S. 116.
wikipedia, wiki, deutsches, deutschland, buch, bücher, bibliothek artikel lesen, herunterladen kostenlos kostenloser herunterladen, MP3, Video, MP4, 3GP, JPG, JPEG, GIF, PNG, Bild, Musik, Lied, Film, Buch, Spiel, Spiele
Veröffentlichungsdatum:
Die Fisher Information benannt nach dem Statistiker Ronald Fisher ist eine Kenngrosse aus der mathematischen Statistik die fur eine Familie von Wahrscheinlichkeitsdichten definiert werden kann und Aussagen uber die bestmogliche Qualitat von Parameterschatzungen in diesem Modell liefert Die Fisher Information spielt in der asymptotischen Theorie der Maximum Likelihood Schatzung eine wichtige Rolle und wird auch in der Bayes Statistik bei der Berechnung von Priorverteilungen verwendet Sie kann auch bei der Formulierung von Teststatistiken wie beim Wald Test verwendet werden Inhaltsverzeichnis 1 Definition 2 Bemerkungen zur Definition 3 Beispiele 3 1 Diskreter Grundraum Poisson Verteilung 3 2 Stetiger Grundraum Exponentialverteilung 3 3 Fisher Information einer Exponentialfamilie 4 Eigenschaften und Anwendungen 4 1 Additivitat 4 2 Suffizienz 4 3 Verwendung 5 Erweiterungen auf hohere Dimensionen 5 1 Beispiel Normalverteilung 6 Literatur 7 EinzelnachweiseDefinition BearbeitenGegeben sei ein einparametriges statistisches Standardmodell X A P ϑ ϑ 8 displaystyle X mathcal A P vartheta vartheta in Theta nbsp das heisst es ist 8 R displaystyle Theta subset mathbb R nbsp die P ϑ displaystyle P vartheta nbsp besitzen alle eine Dichtefunktion f x ϑ displaystyle f x vartheta nbsp bezuglich eines festen s endlichen Masses m displaystyle mu nbsp das heisst sie bilden eine dominierte Verteilungsklasse Des Weiteren sei 8 displaystyle Theta nbsp eine offene Menge und es existiere die Score Funktion S ϑ x ϑ ln f x ϑ ϑ f x ϑ f x ϑ displaystyle S vartheta x frac partial partial vartheta ln f x vartheta frac frac partial partial vartheta f x vartheta f x vartheta nbsp und sei endlich Dann wird die Fisher Information des Modells entweder definiert als 1 I ϑ Var ϑ S ϑ displaystyle I vartheta operatorname Var vartheta S vartheta nbsp oder als 2 I ϑ E ϑ S ϑ 2 displaystyle I vartheta operatorname E vartheta S vartheta 2 nbsp Dabei bezeichnet E ϑ displaystyle operatorname E vartheta nbsp den Erwartungswert und Var ϑ displaystyle operatorname Var vartheta nbsp bezeichnet die Varianz bezuglich der Wahrscheinlichkeitsverteilung P ϑ displaystyle P vartheta nbsp Unter der Regularitatsbedingung ϑ f x ϑ d m x ϑ f x ϑ d m x displaystyle int frac partial partial vartheta f x vartheta mathrm d mu x frac partial partial vartheta int f x vartheta mathrm d mu x nbsp fallen die beiden Definitionen zusammen Gilt zusatzlich die Regularitatsbedingung 2 ϑ 2 f x ϑ d m x 2 ϑ 2 f x ϑ d m x displaystyle int frac partial 2 partial vartheta 2 f x vartheta mathrm d mu x frac partial 2 partial vartheta 2 int f x vartheta mathrm d mu x nbsp so ist die Fisher Information gegeben durch I ϑ E ϑ ϑ S ϑ displaystyle I vartheta operatorname E vartheta left frac partial partial vartheta S vartheta right nbsp Bemerkungen zur Definition BearbeitenFolgende Dinge sind bei der Definition zu beachten Daraus dass das Modell einparametrisch ist folgt nicht dass es sich um Wahrscheinlichkeitsverteilungen uber einem eindimensionalen Grundraum handelt Einparametrig bedeutet lediglich dass die Verteilungen durch einen eindimensionalen Parameter bestimmt werden An die Dimension des Grundraumes werden keine Anforderungen gestellt In den meisten Fallen ist das Mass m displaystyle mu nbsp bezuglich dessen die Dichtefunktionen definiert sind entweder das Lebesgue Mass l displaystyle lambda nbsp oder das Zahlmass Handelt es sich um das Zahlmass so sind die Dichtefunktionen Wahrscheinlichkeitsfunktionen das Integral wird dementsprechend durch eine Summe ersetzt Handelt es sich um das Lebesgue Mass so ist das Integral ein Lebesgue Integral kann jedoch in den meisten Fallen durch das herkommlich Riemann Integral ersetzt werden Man schreibt dann dementsprechend d x displaystyle mathrm d x nbsp anstelle von d l x displaystyle mathrm d lambda x nbsp Hinreichend fur die Existenz der Score Funktion ist beispielsweise dass f x ϑ displaystyle f x vartheta nbsp auf ganz X 8 displaystyle X times Theta nbsp positiv ist und stetig differenzierbar nach ϑ displaystyle vartheta nbsp Die erste Regularitatsbedingung gilt beispielsweise per Definition in regularen statistischen Modellen Meist zeigt man die Vertauschbarkeit von Integration und Differentiation mit den klassischen Aussagen der Analysis Unter der ersten Regularitatsbedingung ist die Score Funktion zentriert das heisst es ist E ϑ S ϑ 0 displaystyle operatorname E vartheta S vartheta 0 nbsp Daraus folgt mittels des Verschiebungssatzes der Varianz die Aquivalenz der ersten beiden Definition der Fisher Information Beispiele BearbeitenDiskreter Grundraum Poisson Verteilung Bearbeiten Als statistisches Modell sei der Grundraum X 0 1 2 displaystyle X 0 1 2 dots nbsp gegeben versehen mit der s Algebra A P X displaystyle mathcal A mathcal P X nbsp der Potenzmenge Fur l 0 displaystyle lambda in 0 infty nbsp sei P l displaystyle P lambda nbsp die Poisson Verteilung Demnach ist die Dichtefunktion hier bezuglich des Zahlmasses gegeben durch f x l l x x e l displaystyle f x lambda frac lambda x x mathrm e lambda nbsp Damit ergibt sich die Score Funktion zu S l x l ln f x l l x ln l ln x l x l 1 displaystyle S lambda x frac partial partial lambda ln f x lambda frac partial partial lambda left x ln lambda ln x lambda right frac x lambda 1 nbsp Damit ist die Fisher Information nach den Rechenregeln fur die Varianz unter linearen Transformationen I l Var l S l 1 l displaystyle I lambda operatorname Var lambda S lambda frac 1 lambda nbsp Stetiger Grundraum Exponentialverteilung Bearbeiten Als statistisches Modell sei diesmal X 0 displaystyle X 0 infty nbsp und A B 0 displaystyle mathcal A mathcal B 0 infty nbsp gewahlt Die P l displaystyle P lambda nbsp seien Exponentialverteilt zum Parameter l 0 displaystyle lambda in 0 infty nbsp Somit besitzen sie die Dichtefunktion bezuglich des Lebesgue Masses f x l l exp l x displaystyle f x lambda lambda exp lambda x nbsp Demnach ist die Score Funktion S l x l ln f x l l ln l l x 1 l x displaystyle S lambda x frac partial partial lambda ln f x lambda frac partial partial lambda left ln lambda lambda x right frac 1 lambda x nbsp folglich ist die Fisher Information I l Var l S l 1 l 2 displaystyle I lambda operatorname Var lambda S lambda frac 1 lambda 2 nbsp Fisher Information einer Exponentialfamilie Bearbeiten Ist P ϑ displaystyle P vartheta nbsp durch eine einparametrige Exponentialfamilie gegeben besitzt also die Dichtefunktion f x ϑ h x A ϑ exp h ϑ T x displaystyle f x vartheta h x A vartheta exp eta vartheta T x nbsp so ist die Score Funktion gegeben durch S ϑ x h ϑ T x A ϑ A ϑ displaystyle S vartheta x eta vartheta T x frac A vartheta A vartheta nbsp Daraus folgt fur die Fisher Information I ϑ h ϑ 2 Var ϑ T x displaystyle I vartheta left eta vartheta right 2 cdot operatorname Var vartheta T x nbsp Ist die Exponentialfamilie in der naturlichen Parametrisierung gegeben als h ϑ ϑ displaystyle eta vartheta vartheta nbsp so vereinfacht sich dies zu S ϑ x T x A ϑ A ϑ und I ϑ Var ϑ T x displaystyle S vartheta x T x frac A vartheta A vartheta text und I vartheta operatorname Var vartheta T x nbsp In diesem Fall ist also die Varianz der kanonischen Statistik T displaystyle T nbsp die Fisher Information Eigenschaften und Anwendungen BearbeitenAdditivitat Bearbeiten Die Fisher Information ist im Fall unabhangig und identisch verteilter Zufallsvariablen unter der ersten Regularitatsbedingung additiv das heisst fur die Fisher Information I n displaystyle mathcal I n nbsp einer Stichprobe X 1 X n displaystyle X 1 dotsc X n nbsp unabhangiger und identisch verteilter Zufallsvariabler mit Fisher Information I displaystyle mathcal I nbsp gilt I n ϑ n I ϑ displaystyle mathcal I n vartheta n cdot mathcal I vartheta nbsp Diese Eigenschaft folgt direkt aus der Gleichung von Bienayme Die Fisher Information nimmt also proportional zur Anzahl n displaystyle n nbsp der Beobachtungen zu Suffizienz Bearbeiten Ferner gilt fur suffiziente Statistiken T displaystyle T nbsp dass die Fisher Information bezuglich f ϑ X displaystyle f vartheta X nbsp dieselbe wie fur g ϑ T X displaystyle g vartheta T X nbsp ist wobei f ϑ x h x g ϑ T x displaystyle f vartheta x h x g vartheta T x nbsp gilt Verwendung Bearbeiten Benutzt wird die Fisher Information speziell in der Cramer Rao Ungleichung wo ihr Kehrwert bei Gultigkeit der angesprochenen Regularitatsbedingung eine untere Schranke fur die Varianz eines Schatzers fur ϑ displaystyle vartheta nbsp liefert Ist T X displaystyle T X nbsp ein erwartungstreuer Schatzer fur den unbekannten Parameter ϑ displaystyle vartheta nbsp dann gilt Var ϑ T X I ϑ 1 displaystyle operatorname Var vartheta T X geq mathcal I vartheta 1 nbsp Erweiterungen auf hohere Dimensionen BearbeitenFalls das Modell von mehreren Parametern ϑ i displaystyle vartheta i nbsp mit 1 i k displaystyle 1 leq i leq k nbsp abhangt lasst sich die Fisher Information als symmetrische Matrix I ϑ I i j ϑ i j 1 k displaystyle mathcal I vartheta mathcal I ij vartheta i j 1 dotsc k nbsp definieren wobei I i j ϑ E ϑ ϑ i log f ϑ X ϑ j log f ϑ X displaystyle mathcal I ij vartheta operatorname E vartheta left frac partial partial vartheta i log f vartheta X cdot frac partial partial vartheta j log f vartheta X right nbsp gilt Sie wird die Fisher Informationsmatrix genannt Die Eigenschaften bleiben im Wesentlichen erhalten Unter der Regularitatsbedingung ist I ϑ displaystyle mathcal I vartheta nbsp die Kovarianzmatrix der Score Funktion Beispiel Normalverteilung Bearbeiten Ist X displaystyle X nbsp normalverteilt mit Erwartungswert ϑ displaystyle vartheta nbsp als Parameter und bekannter Varianz v gt 0 displaystyle v gt 0 nbsp dann ist f ϑ x 1 2 p v e x ϑ 2 2 v displaystyle f vartheta x frac 1 sqrt 2 pi v mathrm e frac x vartheta 2 2v nbsp Es folgt ϑ log f ϑ x x ϑ v displaystyle frac partial partial vartheta log f vartheta x frac x vartheta v nbsp also I ϑ Var X ϑ v 1 v displaystyle mathcal I vartheta operatorname Var left frac X vartheta v right frac 1 v nbsp Betrachtet man dagegen sowohl den Erwartungswert m displaystyle mu nbsp als auch die Varianz v displaystyle v nbsp als unbekannte Parameter so ergibt sich I m v 1 v 0 0 1 2 v 2 displaystyle mathcal I mu v begin pmatrix dfrac 1 v amp 0 0 amp dfrac 1 2v 2 end pmatrix nbsp als Fisher Informationsmatrix Literatur BearbeitenHans Otto Georgii Stochastik Einfuhrung in die Wahrscheinlichkeitstheorie und Statistik 4 Auflage Walter de Gruyter Berlin 2009 ISBN 978 3 11 021526 7 doi 10 1515 9783110215274 Ludger Ruschendorf Mathematische Statistik Springer Verlag Berlin Heidelberg 2014 ISBN 978 3 642 41996 6 doi 10 1007 978 3 642 41997 3 Claudia Czado Thorsten Schmidt Mathematische Statistik Springer Verlag Berlin Heidelberg 2011 ISBN 978 3 642 17260 1 doi 10 1007 978 3 642 17261 8 Helmut Pruscha Vorlesungen uber Mathematische Statistik B G Teubner Stuttgart 2000 ISBN 3 519 02393 8 Abschnitt V 1 Einzelnachweise Bearbeiten Georgii Stochastik 2009 S 210 Czado Schmidt Mathematische Statistik 2011 S 116 Spezielle Matrizen in der Statistik Datenmatrix Produktsummenmatrix Pradiktionsmatrix residuenerzeugende Matrix zentrierende Matrix Kovarianzmatrix Korrelationsmatrix Prazisionsmatrix Gewichtsmatrix Restriktionsmatrix Fisher Informationsmatrix Bernoulli Matrix Leslie Matrix Zufallsmatrix Ubergangsmatrix Abgerufen von https de wikipedia org w index php title Fisher Information amp oldid 238446833