www.wikidata.de-de.nina.az

Cramér Rao Ungleichung Die auch Informationsungleichung oder Fréchet Ungleichung genannt ist eine zentrale Ungleichung d

Cramér-Rao-Ungleichung

Die Cramér-Rao-Ungleichung, auch Informationsungleichung oder Fréchet-Ungleichung genannt, ist eine zentrale Ungleichung der Schätztheorie, einem Teilgebiet der mathematischen Statistik. Sie liefert in regulären statistischen Modellen eine Abschätzung für die Varianz von Punktschätzern und damit eine Möglichkeit, unterschiedliche Schätzer miteinander zu vergleichen sowie ein Kriterium für die Bestimmung von gleichmäßig besten erwartungstreuen Schätzern.

Illustration der Cramer-Rao Schranke: es gibt keinen unberührten Schätzer, welcher den (2-dimensionalen) Parameter mit niedrigerer Varianz schätzt als die Cramer-Rao Schranke, welche als Standardabweichungs-Ellipse dargestellt ist

Die Ungleichung ist nach Harald Cramér und Calyampudi Radhakrishna Rao beziehungsweise nach Maurice René Fréchet benannt.

Aussage Bearbeiten

Rahmenbedingungen Bearbeiten

Gegeben sei ein einparametriges Standardmodell , das heißt, es ist und jedes der besitzt eine Dichtefunktion bezüglich des Maßes .

Des Weiteren seien die Cramér-Rao-Regularitätsbedingungen erfüllt, das heißt, es gilt:

  • ist eine offene Menge.
  • Die Dichtefunktion ist auf ganz echt größer als 0.
  • Die Score-Funktion

Formulierung Bearbeiten

Ist dann ein Schätzer mit endlicher Varianz und ist

so ist ein erwartungstreuer Schätzer für . Ist nun ein regulärer Schätzer in dem Sinne, als dass die Vertauschungsrelation

gültig ist, so gilt die Cramér-Rao-Ungleichung

wobei die Ableitung von ist.

Bemerkungen Bearbeiten

Die Definition der zu schätzenden Funktion über den Erwartungswert von garantiert die Differenzierbarkeit dieser Funktion. Alternativ kann auch als ein erwartungstreuer Schätzer für eine differenzierbare Funktion definiert werden.

Formulierung für verzerrte Schätzer Bearbeiten

Für verzerrte Schätzer mit Verzerrung gilt: wobei kleiner Null sein kann und somit die Varianz im Vergleich zu einem unverzerrten Schätzer verkleinern kann.

Abgeleitete Begriffe Bearbeiten

Cramér-Rao-Schranke Bearbeiten

Ist ein erwartungstreuer Schätzer für die Funktion , so vereinfacht sich die Cramér-Rao-Ungleichung zu

Dies nennt man auch die Cramér-Rao-Schranke.

Cramér-Rao-Effizienz und Supereffizenz Bearbeiten

Ein Schätzer, welcher die Cramér-Rao-Ungleichung mit Gleichheit erfüllt, heißt ein Cramér-Rao-effizienter Schätzer. Er ist ein gleichmäßig bester erwartungstreuer Schätzer für die Klasse der regulären Schätzer, also diejenigen, für die die obige Vertauschungsrelation gilt. Einfachstes und bekanntestes Beispiel eines Cramér-Rao-effizienter Schätzers ist das arithmetische Mittel als Schätzer für den Erwartungswert einer Normalverteilung.

Schätzer, die die Cramér-Rao-Ungleichung sogar unterschreiten, werden supereffizient genannt. Diese sind notwendigerweise nicht-regulär oder nicht-erwartungstreu, erfüllen also nicht die Bedingungen der Cramér-Rao-Ungleichung. Der bekannteste Vertreter supereffizienter Schätzer ist der James-Stein-Schätzer.

Regularitätsbedingungen und Beweisidee Bearbeiten

Der Beweis der Cramér-Rao-Ungleichung beruht im Wesentlichen auf der Cauchy-Schwarz-Ungleichung und zwei Modellannahmen, die die Vertauschbarkeit von Differentiation und Integration regeln.

Einerseits soll

gelten und andererseits nehmen wir

an. Direktes Einsetzen in die Cauchy-Schwarz-Ungleichung liefert dann die Behauptung.

Mehrdimensionale Formulierung Bearbeiten

Unter ähnlichen Regularitätsbedingungen ist die Cramér-Rao-Ungleichung auch im Falle mehrdimensionaler Parameter formulierbar. Die Aussage überträgt sich dann auf die Betrachtung der Kovarianzmatrix des mehrdimensionalen Schätzers und liefert eine -Relation im Sinne der Löwner-Halbordnung für Matrizen.

Sei der Vektor der unbekannten Parameter und eine multivariate Zufallsvariable mit zugehöriger Wahrscheinlichkeitsdichte .

Der Schätzer

für den Parametervektor besitzt eine Kovarianzmatrix

Die Cramér-Rao-Ungleichung lautet in diesem Fall

wobei die Fisher-Informationsmatrix

ist.

Anwendungen Bearbeiten

Mit Hilfe der Cramér-Rao-Ungleichung lässt sich die dynamische Permeabilitätszahl von Membranen abschätzen, was vor allem in der Bio- und Nanotechnologie rege Anwendung findet.

Verallgemeinerungen Bearbeiten

Eine mögliche Verallgemeinerung ist die Chapman-Robbins-Ungleichung. Sie erlaubt eine Abschätzung der Varianz eines Schätzers bezüglich eines fest vorgegebenen und wird daher für Abschätzungen im Rahmen der Untersuchung von lokal minimalen Schätzern verwendet. Bei Grenzübergang liefert sie eine punktweise Version der Cramér-Rao-Ungleichung.

Als eine Verallgemeinerung der Cramér-Rao-Ungleichung kann auch die Van-Trees-Ungleichung aus der bayesschen Statistik angesehen werden. Im Unterschied zu dieser lässt sich die Van-Trees-Ungleichung auch auf nicht-erwartungstreue Schätzer anwenden.

Weblinks Bearbeiten

Literatur Bearbeiten

  • Ludger Rüschendorf: Mathematische Statistik. Springer Verlag, Berlin Heidelberg 2014, ISBN 978-3-642-41996-6, doi:10.1007/978-3-642-41997-3.
  • Claudia Czado, Thorsten Schmidt: Mathematische Statistik. Springer-Verlag, Berlin Heidelberg 2011, ISBN 978-3-642-17260-1, doi:10.1007/978-3-642-17261-8.
  • Hans-Otto Georgii: Stochastik. Einführung in die Wahrscheinlichkeitstheorie und Statistik. 4. Auflage. Walter de Gruyter, Berlin 2009, ISBN 978-3-11-021526-7, doi:10.1515/9783110215274.
  • Helmut Pruscha: Vorlesungen über Mathematische Statistik. B. G. Teubner, Stuttgart 2000, ISBN 3-519-02393-8, Abschnitt V.1.
  • Posterior uncertainty, asymptotic law and Cramér-Rao bound, Structural Control and Health Monitoring 25(1851):e2113 DOI:10.1002/stc.2113
wikipedia, wiki, deutsches, deutschland, buch, bücher, bibliothek artikel lesen, herunterladen kostenlos kostenloser herunterladen, MP3, Video, MP4, 3GP, JPG, JPEG, GIF, PNG, Bild, Musik, Lied, Film, Buch, Spiel, Spiele
Veröffentlichungsdatum:
Die Cramer Rao Ungleichung auch Informationsungleichung oder Frechet Ungleichung genannt ist eine zentrale Ungleichung der Schatztheorie einem Teilgebiet der mathematischen Statistik Sie liefert in regularen statistischen Modellen eine Abschatzung fur die Varianz von Punktschatzern und damit eine Moglichkeit unterschiedliche Schatzer miteinander zu vergleichen sowie ein Kriterium fur die Bestimmung von gleichmassig besten erwartungstreuen Schatzern Illustration der Cramer Rao Schranke es gibt keinen unberuhrten Schatzer welcher den 2 dimensionalen Parameter mit niedrigerer Varianz schatzt als die Cramer Rao Schranke welche als Standardabweichungs Ellipse dargestellt istDie Ungleichung ist nach Harald Cramer und Calyampudi Radhakrishna Rao beziehungsweise nach Maurice Rene Frechet benannt Inhaltsverzeichnis 1 Aussage 1 1 Rahmenbedingungen 1 2 Formulierung 1 3 Bemerkungen 2 Formulierung fur verzerrte Schatzer 3 Abgeleitete Begriffe 3 1 Cramer Rao Schranke 3 2 Cramer Rao Effizienz und Supereffizenz 4 Regularitatsbedingungen und Beweisidee 5 Mehrdimensionale Formulierung 6 Anwendungen 7 Verallgemeinerungen 8 Weblinks 9 LiteraturAussage BearbeitenRahmenbedingungen Bearbeiten Gegeben sei ein einparametriges Standardmodell X A P ϑ ϑ 8 displaystyle X mathcal A P vartheta vartheta in Theta nbsp das heisst es ist 8 R displaystyle Theta subset mathbb R nbsp und jedes der P ϑ displaystyle P vartheta nbsp besitzt eine Dichtefunktion f x ϑ displaystyle f x vartheta nbsp bezuglich des Masses m displaystyle mu nbsp Des Weiteren seien die Cramer Rao Regularitatsbedingungen erfullt das heisst es gilt 8 displaystyle Theta nbsp ist eine offene Menge Die Dichtefunktion f x ϑ displaystyle f x vartheta nbsp ist auf ganz X 8 displaystyle X times Theta nbsp echt grosser als 0 Die Score FunktionS ϑ x ϑ ln f x ϑ displaystyle S vartheta x frac partial partial vartheta ln f x vartheta nbsp existiert und ist endlich Die Fisher Information I ϑ displaystyle I vartheta nbsp ist echt positiv und endlich Es gilt die Vertauschungsrelation ϑ f x ϑ d m x ϑ f x ϑ d m x displaystyle int frac partial partial vartheta f x vartheta mathrm d mu x frac partial partial vartheta int f x vartheta mathrm d mu x nbsp Formulierung Bearbeiten Ist dann T displaystyle T nbsp ein Schatzer mit endlicher Varianz und ist E ϑ T g ϑ f u r a l l e ϑ 8 displaystyle operatorname E vartheta T g vartheta quad mathrm f ddot u r alle vartheta in Theta nbsp so ist T displaystyle T nbsp ein erwartungstreuer Schatzer fur g displaystyle g nbsp Ist nun T displaystyle T nbsp ein regularer Schatzer in dem Sinne als dass die Vertauschungsrelation ϑ T x f x ϑ d m x T x ϑ f x ϑ d m x displaystyle frac partial partial vartheta int T x cdot f x vartheta mathrm d mu x int T x cdot frac partial partial vartheta f x vartheta mathrm d mu x nbsp gultig ist so gilt die Cramer Rao Ungleichung Var ϑ T g ϑ 2 I ϑ f u r a l l e ϑ 8 displaystyle operatorname Var vartheta T geq frac left g vartheta right 2 I vartheta quad mathrm f ddot u r alle vartheta in Theta nbsp wobei g ϑ displaystyle g vartheta nbsp die Ableitung von g ϑ displaystyle g vartheta nbsp ist Bemerkungen Bearbeiten Die Definition der zu schatzenden Funktion g displaystyle g nbsp uber den Erwartungswert von T displaystyle T nbsp garantiert die Differenzierbarkeit dieser Funktion Alternativ kann auch T displaystyle T nbsp als ein erwartungstreuer Schatzer fur eine differenzierbare Funktion g displaystyle g nbsp definiert werden Formulierung fur verzerrte Schatzer BearbeitenFur verzerrte Schatzer mit Verzerrung b 8 E 8 8 displaystyle b theta E hat theta theta nbsp gilt E 8 8 2 1 b 8 2 I 8 b 8 2 displaystyle operatorname E left hat theta theta 2 right geq frac 1 b theta 2 I theta b theta 2 nbsp wobei b 8 displaystyle b theta nbsp kleiner Null sein kann und somit die Varianz im Vergleich zu einem unverzerrten Schatzer verkleinern kann Abgeleitete Begriffe BearbeitenCramer Rao Schranke Bearbeiten Ist T displaystyle T nbsp ein erwartungstreuer Schatzer fur die Funktion g ϑ ϑ displaystyle g vartheta vartheta nbsp so vereinfacht sich die Cramer Rao Ungleichung zu Var ϑ T 1 I ϑ f u r a l l e ϑ 8 displaystyle operatorname Var vartheta T geq frac 1 I vartheta quad mathrm f ddot u r alle vartheta in Theta nbsp Dies nennt man auch die Cramer Rao Schranke Cramer Rao Effizienz und Supereffizenz Bearbeiten Ein Schatzer welcher die Cramer Rao Ungleichung mit Gleichheit erfullt heisst ein Cramer Rao effizienter Schatzer Er ist ein gleichmassig bester erwartungstreuer Schatzer fur die Klasse der regularen Schatzer also diejenigen fur die die obige Vertauschungsrelation gilt Einfachstes und bekanntestes Beispiel eines Cramer Rao effizienter Schatzers ist das arithmetische Mittel X displaystyle overline X nbsp als Schatzer fur den Erwartungswert m displaystyle mu nbsp einer Normalverteilung Schatzer die die Cramer Rao Ungleichung sogar unterschreiten werden supereffizient genannt Diese sind notwendigerweise nicht regular oder nicht erwartungstreu erfullen also nicht die Bedingungen der Cramer Rao Ungleichung Der bekannteste Vertreter supereffizienter Schatzer ist der James Stein Schatzer Regularitatsbedingungen und Beweisidee BearbeitenDer Beweis der Cramer Rao Ungleichung beruht im Wesentlichen auf der Cauchy Schwarz Ungleichung und zwei Modellannahmen die die Vertauschbarkeit von Differentiation und Integration regeln Einerseits soll E ϑ ϑ log f ϑ X i 0 displaystyle mathrm E vartheta left frac partial partial vartheta log f vartheta X i right 0 nbsp gelten und andererseits nehmen wir E ϑ T X ϑ log f ϑ X i ϑ E ϑ T X displaystyle mathrm E vartheta left T X frac partial partial vartheta log f vartheta X i right frac partial partial vartheta mathrm E vartheta left T X right nbsp an Direktes Einsetzen in die Cauchy Schwarz Ungleichung liefert dann die Behauptung Mehrdimensionale Formulierung BearbeitenUnter ahnlichen Regularitatsbedingungen ist die Cramer Rao Ungleichung auch im Falle mehrdimensionaler Parameter formulierbar Die Aussage ubertragt sich dann auf die Betrachtung der Kovarianzmatrix des mehrdimensionalen Schatzers und liefert eine displaystyle leq nbsp Relation im Sinne der Lowner Halbordnung fur Matrizen Sei ϑ ϑ 1 ϑ 2 ϑ n T displaystyle underline vartheta left vartheta 1 vartheta 2 vartheta n right T nbsp der Vektor der unbekannten Parameter und X displaystyle mathbf X nbsp eine multivariate Zufallsvariable mit zugehoriger Wahrscheinlichkeitsdichte f X ϑ displaystyle f mathbf X underline vartheta nbsp Der Schatzer T X T 1 X T 2 X T n X T displaystyle underline T mathbf X left T 1 mathbf X T 2 mathbf X T n mathbf X right T nbsp fur den Parametervektor ϑ displaystyle underline vartheta nbsp besitzt eine Kovarianzmatrix C o v T X E T X ϑ T X ϑ T displaystyle mathrm Cov underline T mathbf X mathrm E underline T mathbf X underline vartheta underline T mathbf X underline vartheta T nbsp Die Cramer Rao Ungleichung lautet in diesem Fall C o v T X I 1 ϑ displaystyle mathrm Cov underline T mathbf X geq mathcal I 1 underline vartheta nbsp wobei I displaystyle mathcal I nbsp die Fisher Informationsmatrix I i j ϑ E ϑ i log ℓ 1 n f X ℓ ϑ ϑ j log ℓ 1 n f X ℓ ϑ displaystyle mathcal I ij underline vartheta mathrm E left frac partial partial vartheta i log prod ell 1 n f X ell underline vartheta frac partial partial vartheta j log prod ell 1 n f X ell underline vartheta right nbsp ist Anwendungen BearbeitenMit Hilfe der Cramer Rao Ungleichung lasst sich die dynamische Permeabilitatszahl von Membranen abschatzen was vor allem in der Bio und Nanotechnologie rege Anwendung findet Verallgemeinerungen BearbeitenEine mogliche Verallgemeinerung ist die Chapman Robbins Ungleichung Sie erlaubt eine Abschatzung der Varianz eines Schatzers bezuglich eines fest vorgegebenen P ϑ 0 displaystyle P vartheta 0 nbsp und wird daher fur Abschatzungen im Rahmen der Untersuchung von lokal minimalen Schatzern verwendet Bei Grenzubergang liefert sie eine punktweise Version der Cramer Rao Ungleichung Als eine Verallgemeinerung der Cramer Rao Ungleichung kann auch die Van Trees Ungleichung aus der bayesschen Statistik angesehen werden Im Unterschied zu dieser lasst sich die Van Trees Ungleichung auch auf nicht erwartungstreue Schatzer anwenden Weblinks BearbeitenM S Nikulin Rao Cramer inequality In Michiel Hazewinkel Hrsg Encyclopedia of Mathematics Springer Verlag und EMS Press Berlin 2002 ISBN 1 55608 010 7 englisch encyclopediaofmath org Literatur BearbeitenLudger Ruschendorf Mathematische Statistik Springer Verlag Berlin Heidelberg 2014 ISBN 978 3 642 41996 6 doi 10 1007 978 3 642 41997 3 Claudia Czado Thorsten Schmidt Mathematische Statistik Springer Verlag Berlin Heidelberg 2011 ISBN 978 3 642 17260 1 doi 10 1007 978 3 642 17261 8 Hans Otto Georgii Stochastik Einfuhrung in die Wahrscheinlichkeitstheorie und Statistik 4 Auflage Walter de Gruyter Berlin 2009 ISBN 978 3 11 021526 7 doi 10 1515 9783110215274 Helmut Pruscha Vorlesungen uber Mathematische Statistik B G Teubner Stuttgart 2000 ISBN 3 519 02393 8 Abschnitt V 1 Posterior uncertainty asymptotic law and Cramer Rao bound Structural Control and Health Monitoring 25 1851 e2113 DOI 10 1002 stc 2113 Abgerufen von https de wikipedia org w index php title Cramer Rao Ungleichung amp oldid 234441691