In der Statistik wird als Klassische Normalregression eine Regression bezeichnet die zusatzlich zu den Gauss Markov Annahmen die Annahme der Normalverteiltheit der Storgrossen beinhaltet Das dazugehorige Modell wird klassisches lineares Modell der Normalregression bezeichnet Die Annahme der Normalverteilung der Storgrossen wird benotigt um statistische Inferenz durchzufuhren d h sie wird benotigt um Konfidenzintervalle berechnen zu konnen und um allgemeine lineare Hypothesen testen zu konnen Ausserdem lassen sich unter der Normalverteilungsannahme weitere Eigenschaften der KQ Schatzung herleiten Inhaltsverzeichnis 1 Ausgangslage 2 Klassisches lineares Modell 3 Maximum Likelihood Schatzung 3 1 Schatzung des Steigungsparameters 3 2 Schatzung des Varianzparameters 4 Verallgemeinerung 5 Einzelnachweise 6 LiteraturAusgangslage BearbeitenAls Ausgangslage betrachten wir ein typisches multiples lineares Regressionsmodell mit gegebenen Daten y t x t k t 1 T k 1 K displaystyle y t x tk t 1 dots T k 1 dots K nbsp fur T displaystyle T nbsp statistische Einheiten Der Zusammenhang zwischen der abhangigen Variablen und den unabhangigen Variablen kann wie folgt dargestellt werden y t x t 1 b 1 x t 2 b 2 x t K b K e t x t b e t t 1 2 T displaystyle y t x t1 beta 1 x t2 beta 2 ldots x tK beta K varepsilon t mathbf x t top boldsymbol beta varepsilon t quad t 1 2 dotsc T nbsp In Matrixnotation auch y 1 y 2 y T T 1 x 11 x 12 x 1 k x 1 K x 21 x 22 x 2 k x 2 K x T 1 x T 2 x T k x T K T K b 1 b 2 b K K 1 e 1 e 2 e T T 1 displaystyle begin pmatrix y 1 y 2 vdots y T end pmatrix T times 1 begin pmatrix x 11 amp x 12 amp cdots amp x 1k amp cdots amp x 1K x 21 amp x 22 amp cdots amp x 2k amp cdots amp x 2K vdots amp vdots amp ddots amp vdots amp ddots amp vdots x T1 amp x T2 amp cdots amp x Tk amp cdots amp x TK end pmatrix T times K cdot begin pmatrix beta 1 beta 2 vdots beta K end pmatrix K times 1 begin pmatrix varepsilon 1 varepsilon 2 vdots varepsilon T end pmatrix T times 1 nbsp oder in kompakter Schreibweise y X b e displaystyle mathbf y mathbf X boldsymbol beta boldsymbol varepsilon nbsp Hier stellt b displaystyle boldsymbol beta nbsp einen Vektor von unbekannten Parametern dar die mithilfe der Daten geschatzt werden mussen Klassisches lineares Modell BearbeitenDas multiple lineare Regressionsmodell y X b e displaystyle mathbf y mathbf X boldsymbol beta boldsymbol varepsilon nbsp wird klassisch genannt wenn die folgenden Annahmen gelten A1 Die Storgrossen weisen einen Erwartungswert von Null auf E e 0 displaystyle operatorname E boldsymbol varepsilon mathbf 0 nbsp was bedeutet dass wir davon ausgehen konnen dass unser Modell im Mittel korrekt ist A2 Die Storgrossen sind unkorreliert Cov e i e j E e i E e i e j E e j E e i e j 0 i j i 1 n j 1 n displaystyle operatorname Cov varepsilon i varepsilon j operatorname E varepsilon i operatorname E varepsilon i varepsilon j operatorname E varepsilon j operatorname E varepsilon i varepsilon j 0 quad forall i neq j i 1 ldots n j 1 ldots n nbsp und weisen eine homogene Varianz auf Beides zusammen ergibt Cov e s 2 I T displaystyle mbox Cov boldsymbol varepsilon sigma 2 mathbf I T nbsp A3 Die Datenmatrix ist nichtstochastisch und hat vollen Spaltenrang Rang X K displaystyle mbox Rang mathbf X K nbsp Die Annahmen A1 A3 lassen sich zusammenfassen als e 0 s 2 I n displaystyle boldsymbol varepsilon sim mathbf 0 sigma 2 mathbf I n nbsp Statt die Varianzen und Kovarianzen der Storgrossen einzeln zu betrachten werden diese in folgender Varianz Kovarianzmatrix zusammengefasst Cov e E e E e 0 aus A1 e E e 0 aus A1 E e e Var e 1 Cov e 1 e 2 Cov e 1 e T Cov e 2 e 1 Var e 2 Cov e 2 e T Cov e T e 1 Cov e T e 2 Var e T aus A2 s 2 1 0 0 0 1 0 0 0 1 T T s 2 I T displaystyle begin aligned mbox Cov boldsymbol varepsilon amp operatorname E left boldsymbol varepsilon underbrace operatorname E boldsymbol varepsilon mathbf 0 text aus A1 boldsymbol varepsilon underbrace operatorname E boldsymbol varepsilon mathbf 0 text aus A1 top right operatorname E boldsymbol varepsilon boldsymbol varepsilon top begin pmatrix operatorname Var varepsilon 1 amp operatorname Cov varepsilon 1 varepsilon 2 amp cdots amp operatorname Cov varepsilon 1 varepsilon T operatorname Cov varepsilon 2 varepsilon 1 amp operatorname Var varepsilon 2 amp cdots amp operatorname Cov varepsilon 2 varepsilon T vdots amp vdots amp ddots amp vdots operatorname Cov varepsilon T varepsilon 1 amp operatorname Cov varepsilon T varepsilon 2 amp cdots amp operatorname Var varepsilon T end pmatrix amp stackrel text aus A2 sigma 2 begin pmatrix 1 amp 0 amp cdots amp 0 0 amp 1 amp ddots amp vdots vdots amp ddots amp ddots amp 0 0 amp cdots amp 0 amp 1 end pmatrix T times T sigma 2 mathbf I T end aligned nbsp Somit gilt fur y displaystyle mathbf y nbsp E y X b displaystyle operatorname E mathbf y mathbf X boldsymbol beta quad nbsp mit Cov y s 2 I T displaystyle quad mbox Cov mathbf y sigma 2 mathbf I T nbsp Wenn zusatzlich zum o g klassischen linearen Regressionsmodell kurz KLRM oder auch Standardmodell der linearen Regression genannt die Annahme der Normalverteiltheit der Storgrossen gefordert wird dann spricht man vom klassischen linearen Modell der Normalregression Dies ist dann gegeben durch y X b e displaystyle mathbf y mathbf X boldsymbol beta boldsymbol varepsilon nbsp mit e N 0 s 2 I T displaystyle boldsymbol varepsilon sim mathcal N left mathbf 0 sigma 2 mathbf I T right nbsp Maximum Likelihood Schatzung BearbeitenSchatzung des Steigungsparameters Bearbeiten Der unbekannte Varianzparameter einer Grundgesamtheit und der Steigungsparameter des normal linearen Modells lassen sich mithilfe der Maximum Likelihood Methode schatzen Dazu wird zunachst die einzelne Wahrscheinlichkeitsdichte des Fehlervektors der einer Normalverteilung folgt benotigt Sie lautet f e t s 2 1 2 p s 2 exp e t 2 2 s 2 displaystyle f varepsilon t mid sigma 2 frac 1 sqrt 2 pi sigma 2 operatorname exp left frac varepsilon t 2 2 sigma 2 right nbsp wobei s 2 s e 2 displaystyle sigma 2 sigma varepsilon 2 nbsp darstellt Da sich die Storgrosse auch als e t y t x t b displaystyle varepsilon t y t mathbf x t top boldsymbol beta nbsp darstellen lasst kann man die einzelne Dichte auch schreiben als f y t x t b s 2 1 2 p s 2 exp y t x t b 2 2 s 2 displaystyle f y t mid mathbf x t top boldsymbol beta sigma 2 frac 1 sqrt 2 pi sigma 2 operatorname exp left frac left y t mathbf x t top boldsymbol beta right 2 2 sigma 2 right nbsp Aufgrund der Unabhangigkeitsannahme lasst sich die gemeinsame Wahrscheinlichkeitsdichte f displaystyle f nbsp als Produkt der einzelnen Randdichten f 1 f T displaystyle f 1 ldots f T nbsp darstellen Die gemeinsame Dichte f y 1 y 2 y T X b s 2 f y 1 x 1 b s 2 f y 2 x 2 b s 2 f y T x T b s 2 displaystyle f y 1 y 2 ldots y T mid mathbf X boldsymbol beta sigma 2 f y 1 mid mathbf x 1 top boldsymbol beta sigma 2 cdot f y 2 mid mathbf x 2 top boldsymbol beta sigma 2 cdot ldots cdot f y T mid mathbf x T top boldsymbol beta sigma 2 nbsp lautet bei unterstellter stochastischer Unabhangigkeit dann f y 1 y 2 y T X b s 2 t 1 f t y t x t b s 2 1 2 p s 2 exp y 1 x 1 b 2 2 s 2 1 2 p s 2 exp y T x T b 2 2 s 2 2 p s 2 T 2 exp y X b y X b 2 s 2 displaystyle begin aligned f y 1 y 2 dotsc y T mid mathbf X boldsymbol beta sigma 2 amp prod t 1 top f t y t mid mathbf x t boldsymbol beta sigma 2 amp frac 1 sqrt 2 pi sigma 2 operatorname exp left frac left y 1 mathbf x 1 top boldsymbol beta right 2 2 sigma 2 right cdot ldots cdot frac 1 sqrt 2 pi sigma 2 operatorname exp left frac left y T mathbf x T top boldsymbol beta right 2 2 sigma 2 right amp 2 pi sigma 2 frac T 2 operatorname exp left frac left mathbf y mathbf X boldsymbol beta right top left mathbf y mathbf X boldsymbol beta right 2 sigma 2 right end aligned nbsp Die gemeinsame Dichte lasst sich auch schreiben als f y X b s 2 2 p s 2 T 2 I T 1 2 exp y X b I T y X b 2 s 2 displaystyle f mathbf y mid mathbf X boldsymbol beta sigma 2 2 pi sigma 2 frac T 2 mathbf I T frac 1 2 operatorname exp left frac left mathbf y mathbf X boldsymbol beta right top mathbf I T left mathbf y mathbf X boldsymbol beta right 2 sigma 2 right nbsp Da wir uns nun nicht fur ein bestimmtes Ergebnis bei gegebenen Parametern interessieren sondern diejenigen Parameter suchen die am besten zu unseren Daten passen denen also die grosste Plausibilitat zugeordnet wird dass sie den wahren Parametern entsprechen lasst sich nun die Likelihood Funktion als gemeinsame Wahrscheinlichkeitsdichte in Abhangigkeit von den Parametern formulieren L b s 2 y X 2 p s 2 T 2 exp y X b y X b 2 s 2 displaystyle L boldsymbol beta sigma 2 mathbf y mathbf X 2 pi sigma 2 frac T 2 operatorname exp left frac left mathbf y mathbf X boldsymbol beta right top left mathbf y mathbf X boldsymbol beta right 2 sigma 2 right nbsp Durch logarithmieren der Likelihood Funktion ergibt sich die logarithmische Likelihood Funktion auch logarithmische Plausibilitatsfunktion genannt in Abhangigkeit von den Parametern ℓ b s 2 y X ln L b s 2 y X T 2 ln 2 p T 2 ln s 2 y X b y X b 2 s 2 displaystyle ell boldsymbol beta sigma 2 mathbf y mathbf X ln left L boldsymbol beta sigma 2 mathbf y mathbf X right frac T 2 cdot ln 2 pi frac T 2 cdot ln sigma 2 frac left mathbf y mathbf X boldsymbol beta right top left mathbf y mathbf X boldsymbol beta right 2 sigma 2 nbsp Diese Funktion gilt es nun bzgl der Parameter zu maximieren Es ergibt sich also folgendes Maximierungsproblem s 2 a r g m a x s 2 ℓ b s 2 y X displaystyle tilde sigma 2 underset sigma 2 operatorname arg max ell boldsymbol beta sigma 2 mid mathbf y mathbf X nbsp b a r g m a x b ℓ b s 2 y X displaystyle tilde boldsymbol beta underset boldsymbol beta operatorname arg max ell boldsymbol beta sigma 2 mid mathbf y mathbf X nbsp Die beiden Score Funktionen lauten ℓ b s 2 y X b b b s 2 s 2 1 2 s 2 y X b y X b b 2 X X b X y 0 displaystyle left frac partial ell boldsymbol beta sigma 2 mathbf y mathbf X partial boldsymbol beta right begin array ccc boldsymbol beta tilde mathbf b sigma 2 tilde sigma 2 end array frac 1 2 sigma 2 cdot underbrace frac partial mathbf y mathbf X boldsymbol beta top left mathbf y mathbf X boldsymbol beta right partial boldsymbol beta 2 left mathbf X top mathbf X boldsymbol beta mathbf X top mathbf y right overset mathrm 0 nbsp ℓ b s 2 y X s 2 b b s 2 s 2 T 2 s 2 1 2 s 4 y X b y X b 0 displaystyle left frac partial ell boldsymbol beta sigma 2 mathbf y mathbf X partial sigma 2 right begin array ccc boldsymbol beta tilde mathbf b sigma 2 tilde sigma 2 end array frac T 2 sigma 2 frac 1 2 sigma 4 cdot mathbf y mathbf X boldsymbol beta top left mathbf y mathbf X boldsymbol beta right overset mathrm 0 nbsp Beim partiellen Ableiten wird ersichtlich dass der Ausdruck y X b y X b b 2 X y 2 X X b displaystyle frac partial mathbf y mathbf X boldsymbol beta top left mathbf y mathbf X boldsymbol beta right partial boldsymbol beta 2 mathbf X top mathbf y 2 mathbf X mathbf X boldsymbol beta nbsp bereits aus der Herleitung des Kleinste Quadrate Schatzer bekannt ist Schatzung des Parametervektors mit der Kleinste Quadrate Schatzung Somit reduziert sich das Maximum Likelihood Optimierungsproblem auf das Kleinste Quadrate Optimierungsproblem Daraus folgt dass der Kleinste Quadrate Schatzer kurz KQS dem ML Schatzer kurz MLS entspricht b b X X 1 X y displaystyle tilde boldsymbol beta mathbf b mathbf X top mathbf X 1 mathbf X top mathbf y nbsp Fur die Schatzung der Parameter ergibt sich also durch diese weitere Annahme Normalverteilungsannahme kein Unterschied Wenn die Storgrossen normalverteilt sind ist b displaystyle mathbf b nbsp Maximum Likelihood Schatzer und nach dem Satz von Lehmann Scheffe bester erwartungstreuer Schatzer best unbiased estimator BUE Als Konsequenz der Gleichheit von KQ und Maximum Likelihood Schatzer ergibt sich dass auch die KQ und die ML Residuen gleich sein mussen e y X b y X b e displaystyle tilde boldsymbol varepsilon left mathbf y mathbf X tilde boldsymbol beta right left mathbf y mathbf X mathbf b right hat boldsymbol varepsilon nbsp Schatzung des Varianzparameters Bearbeiten Der Maximum Likelihood Schatzer fur die Varianz der sich auch aus der zweiten partiellen Ableitung und dem Umstand s 2 e e T K s 2 T K e e displaystyle hat sigma 2 frac hat boldsymbol varepsilon top hat boldsymbol varepsilon T K Leftrightarrow hat sigma 2 T K hat boldsymbol varepsilon top hat boldsymbol varepsilon nbsp ergibt lautet s 2 y X b y X b T e e T e e T s 2 T K T displaystyle tilde sigma 2 frac mathbf y mathbf X tilde boldsymbol beta top mathbf y mathbf X tilde boldsymbol beta T frac tilde boldsymbol varepsilon top tilde boldsymbol varepsilon T frac hat boldsymbol varepsilon top hat boldsymbol varepsilon T frac hat sigma 2 T K T nbsp Der ML Schatzer ergibt sich als durchschnittliche Residuenquadratsumme Allerdings erfullt der Schatzer nicht gangige Qualitatskriterien fur Punktschatzer da er keine erwartungstreue Schatzung der Varianz der Storgrossen darstellt Der Wert der logarithmischen Plausibilitatsfunktion bewertet an der Stelle der geschatzten Parameter ℓ b s 2 y X ln L b s 2 y X T 2 ln 2 p T 2 ln s 2 y X b y X b 2 s 2 displaystyle ell mathbf b tilde sigma 2 mathbf y mathbf X ln left L mathbf b tilde sigma 2 mathbf y mathbf X right frac T 2 cdot ln 2 pi frac T 2 cdot ln tilde sigma 2 frac left mathbf y mathbf X mathbf b right top left mathbf y mathbf X mathbf b right 2 tilde sigma 2 nbsp 1 Verallgemeinerung BearbeitenWahrend man im klassischen linearen Modellen der Normalregression annimmt dass die Storgrosse die unbeobachtbare Zufallskomponente normalverteilt ist kann die Storgrosse in verallgemeinerten linearen Modellen eine Verteilung aus der Klasse der Exponentialfamilie besitzen Einzelnachweise Bearbeiten George G Judge R Carter Hill W Griffiths Helmut Lutkepohl T C Lee Introduction to the Theory and Practice of Econometrics John Wiley amp Sons New York Chichester Brisbane Toronto Singapore ISBN 978 0471624141 second edition 1988 S 221 ff Literatur BearbeitenGeorge G Judge R Carter Hill W Griffiths Helmut Lutkepohl T C Lee Introduction to the Theory and Practice of Econometrics John Wiley amp Sons New York Chichester Brisbane Toronto Singapore ISBN 978 0471624141 second edition 1988 Ludwig Fahrmeir Thomas Kneib Stefan Lang Brian Marx Regression models methods and applications Springer Science amp Business Media 2013 ISBN 978 3 642 34332 2 Abgerufen von https de wikipedia org w index php title Klassisches lineares Modell der Normalregression amp oldid 201621352
