In der Stochastik ist die Kovarianzmatrix die Verallgemeinerung der Varianz einer eindimensionalen Zufallsvariable auf eine mehrdimensionale Zufallsvariable d h auf einen Zufallsvektor Die Elemente auf der Hauptdiagonalen der Kovarianzmatrix stellen die jeweiligen Varianzen dar und alle ubrigen Elemente Kovarianzen Die Kovarianzmatrix wird auch Varianz Kovarianzmatrix oder selten Streuungsmatrix bzw Dispersionsmatrix lateinisch dispersio Zerstreuung von dispergere verteilen ausbreiten zerstreuen genannt und ist eine positiv semidefinite Matrix Sind alle Komponenten des Zufallsvektors X displaystyle mathbf X linear unabhangig so ist die Kovarianzmatrix positiv definit Dichtefunktion einer um 0 0 displaystyle 0 0 zentrierten zweidimensionalen Gauss Verteilung mit der Kovarianzmatrix S 1 0 5 0 5 1 displaystyle mathbf Sigma begin pmatrix 1 amp 0 5 0 5 amp 1 end pmatrix Inhaltsverzeichnis 1 Definition 2 Eigenschaften 2 1 Grundlegende Eigenschaften 2 2 Beziehung zum Erwartungswert des Zufallsvektors 2 3 Kovarianzmatrix zweier Vektoren 2 4 Kovarianzmatrix als Effizienzkriterium 2 5 Kovarianzmatrix in Matrix Notation 3 Stichproben Kovarianzmatrix 4 Spezielle Kovarianzmatrizen 4 1 Kovarianzmatrix des gewohnlichen Kleinste Quadrate Schatzers 4 2 Kovarianzmatrix bei scheinbar unverbundenen Regressionsgleichungen 5 Darstellung 6 Siehe auch 7 Literatur 8 EinzelnachweiseDefinition BearbeitenSei X displaystyle mathbf X nbsp ein Zufallsvektor X X 1 X 2 X n displaystyle mathbf X begin pmatrix X 1 X 2 vdots X n end pmatrix nbsp wobei E X i m i displaystyle operatorname E X i mu i nbsp den Erwartungswert von X i displaystyle X i nbsp Var X i s i 2 displaystyle operatorname Var X i sigma i 2 nbsp die Varianz von X i displaystyle X i nbsp und Cov X i X j s i j i j displaystyle operatorname Cov X i X j sigma ij i neq j nbsp die Kovarianz der reellen Zufallsvariablen X i displaystyle X i nbsp und X j displaystyle X j nbsp darstellt Der Erwartungswertvektor von X displaystyle mathbf X nbsp ist dann gegeben durch siehe Erwartungswert von Matrizen und Vektoren E X E X 1 X 2 X n m 1 m 2 m n m displaystyle operatorname E mathbf X operatorname E begin pmatrix X 1 X 2 vdots X n end pmatrix begin pmatrix mu 1 mu 2 vdots mu n end pmatrix boldsymbol mu nbsp d h der Erwartungswert des Zufallsvektors ist der Vektor der Erwartungswerte Eine Kovarianzmatrix fur den Zufallsvektor X displaystyle mathbf X nbsp lasst sich wie folgt definieren 1 Cov X E X m X m E X 1 m 1 2 X 1 m 1 X 2 m 2 X 1 m 1 X n m n X 2 m 2 X 1 m 1 X 2 m 2 2 X 2 m 2 X n m n X n m n X 1 m 1 X n m n X 2 m 2 X n m n 2 Var X 1 Cov X 1 X 2 Cov X 1 X n Cov X 2 X 1 Var X 2 Cov X 2 X n Cov X n X 1 Cov X n X 2 Var X n s 1 2 s 12 s 1 n s 21 s 2 2 s 2 n s n 1 s n 2 s n 2 S displaystyle begin aligned operatorname Cov mathbf X amp operatorname E left mathbf X boldsymbol mu mathbf X boldsymbol mu top right amp operatorname E begin pmatrix X 1 mu 1 2 amp X 1 mu 1 X 2 mu 2 amp cdots amp X 1 mu 1 X n mu n X 2 mu 2 X 1 mu 1 amp X 2 mu 2 2 amp cdots amp X 2 mu 2 X n mu n vdots amp vdots amp ddots amp vdots X n mu n X 1 mu 1 amp X n mu n X 2 mu 2 amp cdots amp X n mu n 2 end pmatrix amp begin pmatrix operatorname Var X 1 amp operatorname Cov X 1 X 2 amp cdots amp operatorname Cov X 1 X n operatorname Cov X 2 X 1 amp operatorname Var X 2 amp cdots amp operatorname Cov X 2 X n vdots amp vdots amp ddots amp vdots operatorname Cov X n X 1 amp operatorname Cov X n X 2 amp cdots amp operatorname Var X n end pmatrix amp begin pmatrix sigma 1 2 amp sigma 12 amp cdots amp sigma 1n sigma 21 amp sigma 2 2 amp cdots amp sigma 2n vdots amp vdots amp ddots amp vdots sigma n1 amp sigma n2 amp cdots amp sigma n 2 end pmatrix amp mathbf Sigma end aligned nbsp Die Kovarianzmatrix wird mit Cov X displaystyle operatorname Cov mathbf X nbsp oder S X displaystyle mathbf Sigma X nbsp notiert und die Kovarianzmatrix der asymptotischen Verteilung einer Zufallsvariablen mit V displaystyle boldsymbol operatorname V nbsp oder V displaystyle overline boldsymbol operatorname V nbsp Die Kovarianzmatrix und der Erwartungswertvektor sind die wichtigsten Kenngrossen einer Wahrscheinlichkeitsverteilung Sie werden bei einer Zufallsvariablen als Zusatzinformationen wie folgt angegeben X m S displaystyle X sim boldsymbol mu mathbf Sigma nbsp Die Kovarianzmatrix als Matrix aller paarweisen Kovarianzen der Elemente des Zufallsvektors enthalt Informationen uber seine Streuung und uber Korrelationen zwischen seinen Komponenten Wenn keine der Zufallsvariablen X 1 X n displaystyle X 1 ldots X n nbsp degeneriert ist d h wenn keine von ihnen eine Varianz von Null aufweist und kein exakter linearer Zusammenhang zwischen den X i displaystyle X i nbsp vorliegt dann ist die Kovarianzmatrix positiv definit 2 Man spricht ausserdem von einer skalaren Kovarianzmatrix wenn alle Ausserdiagonaleintrage der Matrix Null sind und die Diagonalelemente dieselbe positive Konstante darstellen 3 Eigenschaften BearbeitenGrundlegende Eigenschaften Bearbeiten Fur i j displaystyle i j nbsp gilt Cov X i X j Var X i displaystyle operatorname Cov X i X j operatorname Var X i nbsp Somit enthalt die Kovarianzmatrix auf der Hauptdiagonalen die Varianzen der einzelnen Komponenten des Zufallsvektors Alle Elemente auf der Hauptdiagonalen sind daher nichtnegativ Eine reelle Kovarianzmatrix ist symmetrisch da die Kovarianz zweier Zufallsvariablen symmetrisch ist Die Kovarianzmatrix ist positiv semidefinit Aufgrund der Symmetrie ist jede Kovarianzmatrix mittels Hauptachsentransformation diagonalisierbar wobei die Diagonalmatrix wieder eine Kovarianzmatrix ist Da auf der Diagonale nur Varianzen stehen ist die Diagonalmatrix folglich positiv semidefinit und somit auch die ursprungliche Kovarianzmatrix Umgekehrt kann jede symmetrische positiv semidefinite d d displaystyle d times d nbsp Matrix als Kovarianzmatrix eines d displaystyle d nbsp dimensionalen Zufallsvektors aufgefasst werden Aufgrund der Diagonalisierbarkeit wobei die Eigenwerte auf der Diagonale wegen der positiven Semidefinitheit nicht negativ sind konnen Kovarianzmatrizen als Ellipsoide dargestellt werden Fur alle Matrizen A R m n displaystyle mathbf A in mathbb R m times n nbsp gilt Cov A X E A X E X X E X A A Cov X A displaystyle operatorname Cov mathbf A mathbf X operatorname E Big mathbf A mathbf X operatorname E mathbf X mathbf X operatorname E mathbf X top mathbf A top Big mathbf A operatorname Cov mathbf X mathbf A top nbsp Fur alle Vektoren b R n displaystyle mathbf b in mathbb R n nbsp gilt Cov X b Cov X displaystyle operatorname Cov mathbf X mathbf b operatorname Cov mathbf X nbsp Sind X displaystyle mathbf X nbsp und Y displaystyle mathbf Y nbsp unkorrelierte Zufallsvektoren dann gilt Cov X Y Cov X Cov Y displaystyle operatorname Cov mathbf X mathbf Y operatorname Cov mathbf X operatorname Cov mathbf Y nbsp Sind die Elemente X i displaystyle X i nbsp von X displaystyle mathbf X nbsp unkorreliert so gilt Cov X diag s 1 2 s 2 2 s n 2 displaystyle operatorname Cov mathbf X operatorname diag sigma 1 2 sigma 2 2 dots sigma n 2 nbsp d h die Kovarianzmatrix ist eine Diagonalmatrix Man erhalt mit der Diagonalmatrix D diag S 1 2 diag s 1 s 2 s n displaystyle mathbf D left operatorname diag boldsymbol Sigma right 1 2 operatorname diag sigma 1 sigma 2 dotsc sigma n nbsp die Kovarianzmatrix durch die Beziehung S D P D displaystyle boldsymbol Sigma mathbf D mathbf P mathbf D nbsp wobei P displaystyle mathbf P nbsp die Korrelationsmatrix in der Grundgesamtheit darstellt Sind die Zufallsvariablen standardisiert so enthalt die Kovarianzmatrix gerade die Korrelationskoeffizienten und man erhalt die Korrelationsmatrix Die Inverse der Kovarianzmatrix P S 1 displaystyle mathbf P mathbf Sigma 1 nbsp heisst Prazisions matrix oder Konzentrationsmatrix Die Determinante der Kovarianzmatrix S displaystyle begin vmatrix mathbf Sigma end vmatrix nbsp wird verallgemeinerte Varianz genannt und ist ein Mass fur die Gesamtstreuung eines multivariaten Datensatzes Fur die Spur der Kovarianzmatrix gilt Spur S i 1 n s i 2 displaystyle operatorname Spur mathbf Sigma sum nolimits i 1 n sigma i 2 nbsp Cov X Y Z Cov X Z Cov Y Z displaystyle operatorname Cov mathbf X mathbf Y mathbf Z operatorname Cov mathbf X mathbf Z operatorname Cov mathbf Y mathbf Z nbsp Beziehung zum Erwartungswert des Zufallsvektors Bearbeiten Ist m E X displaystyle boldsymbol mu operatorname E mathbf X nbsp der Erwartungswertvektor so lasst sich mit dem Verschiebungssatz von Steiner angewandt auf mehrdimensionale Zufallsvariablen zeigen dass Cov X E X m X m E X X m m displaystyle begin aligned operatorname Cov mathbf X amp operatorname E bigl mathbf X boldsymbol mu mathbf X boldsymbol mu top bigr amp operatorname E mathbf X mathbf X top boldsymbol mu boldsymbol boldsymbol mu top end aligned nbsp Hierbei sind Erwartungswerte von Vektoren und Matrizen komponentenweise zu verstehen Ein Zufallsvektor der einer gegebenen Kovarianzmatrix gehorchen und den Erwartungswert m displaystyle boldsymbol mu nbsp haben soll kann wie folgt simuliert werden zunachst ist die Kovarianzmatrix zu zerlegen z B mit der Cholesky Zerlegung Cov X D D displaystyle operatorname Cov mathbf X mathbf D mathbf D top nbsp Anschliessend lasst sich der Zufallsvektor berechnen zu X D 3 m displaystyle mathbf X mathbf D mathbf xi boldsymbol mu nbsp mit einem anderen Zufallsvektor 3 displaystyle mathbf xi nbsp mit voneinander unabhangigen standardnormalverteilten Komponenten Kovarianzmatrix zweier Vektoren Bearbeiten Die Kovarianzmatrix zweier Vektoren lautet Cov X Y E X m Y n displaystyle displaystyle operatorname Cov mathbf X mathbf Y operatorname E bigl mathbf X boldsymbol mu mathbf Y boldsymbol nu top bigr nbsp mit dem Erwartungswert m displaystyle boldsymbol mu nbsp des Zufallsvektors X displaystyle mathbf X nbsp und dem Erwartungswert n displaystyle boldsymbol nu nbsp des Zufallsvektors Y displaystyle mathbf Y nbsp Kovarianzmatrix als Effizienzkriterium Bearbeiten Die Effizienz bzw Prazision eines Punktschatzers lasst sich mittels der Varianz Kovarianzmatrix messen da diese die Informationen uber die Streuung des Zufallsvektors zwischen seinen Komponenten enthalt Im Allgemeinen gilt dass sich die Effizienz eines Parameterschatzers anhand der Grosse seiner Varianz Kovarianzmatrix messen lasst Es gilt je kleiner die Varianz Kovarianzmatrix desto grosser die Effizienz des Schatzers Seien 8 displaystyle tilde boldsymbol theta nbsp und 8 displaystyle hat boldsymbol theta nbsp zwei unverzerrte K 1 displaystyle K times 1 nbsp Zufallsvektoren Wenn 8 displaystyle boldsymbol theta nbsp ein K 1 displaystyle K times 1 nbsp Zufallsvektor ist dann ist Cov 8 displaystyle operatorname Cov hat boldsymbol theta nbsp eine K K displaystyle K times K nbsp positiv definite und symmetrische Matrix Man kann sagen dass Cov 8 displaystyle operatorname Cov hat boldsymbol theta nbsp kleiner ist als Cov 8 displaystyle operatorname Cov tilde boldsymbol theta nbsp in Sinne der Loewner Halbordnung d h dass Cov 8 Cov 8 displaystyle operatorname Cov tilde boldsymbol theta operatorname Cov hat boldsymbol theta nbsp eine positiv semidefinite Matrix ist 4 Kovarianzmatrix in Matrix Notation Bearbeiten Die Kovarianzmatrix lasst sich in der Matrix Notation darstellen als Cov X 1 n X X T 1 n X 1 1 X T displaystyle operatorname Cov mathbf X frac 1 n left mathbf X mathbf X mathrm T frac 1 n mathbf X 1 1 mathbf X mathrm T right nbsp wobei 1 1 displaystyle displaystyle 1 1 nbsp die Einsmatrix und n displaystyle n nbsp die Anzahl Dimensionen bezeichnet 5 Stichproben Kovarianzmatrix Bearbeiten Hauptartikel Stichprobenkovarianz Eine Schatzung der Korrelationsmatrix in der Grundgesamtheit S displaystyle widehat mathbf Sigma nbsp erhalt man indem man die Varianzen und Kovarianzen in der Grundgesamtheit Var X i s i 2 displaystyle operatorname Var X i sigma i 2 nbsp und Cov X i X j s i j i j displaystyle operatorname Cov X i X j sigma ij i neq j nbsp durch die empirischen Varianzen und empirischen Kovarianzen ihre empirischen Gegenstucke s j 2 s j 2 displaystyle hat sigma j 2 s j 2 nbsp und s j k s j k displaystyle hat sigma jk s jk nbsp ersetzt sofern die x displaystyle x nbsp Variablen Zufallsvariablen darstellen schatzen die die Parameter in der Grundgesamtheit Spezielle Kovarianzmatrizen BearbeitenKovarianzmatrix des gewohnlichen Kleinste Quadrate Schatzers Bearbeiten Fur die Kovarianzmatrix des gewohnlichen Kleinste Quadrate Schatzers b X X 1 X Y Cov Y s 2 I displaystyle mathbf b mathbf X top mathbf X 1 mathbf X top mathbf Y operatorname Cov mathbf Y sigma 2 mathbf I nbsp ergibt sich nach den obigen Rechenregeln Cov b X X 1 X Cov Y X X X 1 s 2 X X 1 X X X X 1 s 2 X X 1 S b displaystyle operatorname Cov mathbf b mathbf X top mathbf X 1 mathbf X top operatorname Cov mathbf Y mathbf X mathbf X top mathbf X 1 sigma 2 mathbf X top mathbf X 1 mathbf X top mathbf X mathbf X top mathbf X 1 sigma 2 mathbf X top mathbf X 1 Sigma mathbf b nbsp Diese Kovarianzmatrix ist unbekannt da die Varianz der Storgrossen s 2 displaystyle sigma 2 nbsp unbekannt ist Einen Schatzer fur die Kovarianzmatrix S b displaystyle hat Sigma mathbf b nbsp erhalt man indem man die unbekannte Storgrossenvarianz s 2 displaystyle sigma 2 nbsp durch den erwartungstreuen Schatzer der Storgrossenvarianz s 2 displaystyle hat sigma 2 nbsp ersetzt siehe hierzu Erwartungstreue Schatzung des unbekannten Varianzparameters Kovarianzmatrix bei scheinbar unverbundenen Regressionsgleichungen Bearbeiten Bei scheinbar unverbundenen Regressionsgleichungen englisch seemingly unrelated regression equations kurz SURE des Modells y i t x i t b e i t displaystyle y it boldsymbol x it top boldsymbol beta boldsymbol e it nbsp wobei der Fehlerterm e i t displaystyle boldsymbol e it nbsp idiosynkratisch ist ergibt sich die Kovarianzmatrix als Cov e E e e E e 1 e 1 E e 1 e N E e N e 1 E e N e N s 11 I T s 1 N I T s N 1 I T s N N I T s 11 s 1 N s N 1 s N N I T S I T F displaystyle begin aligned operatorname Cov mathbf e operatorname E mathbf e mathbf e top amp begin pmatrix operatorname E boldsymbol e 1 boldsymbol e 1 top amp cdots amp operatorname E boldsymbol e 1 boldsymbol e N top vdots amp ddots amp vdots operatorname E boldsymbol e N boldsymbol e 1 top amp cdots amp operatorname E boldsymbol e N boldsymbol e N top end pmatrix begin pmatrix sigma 11 mathbf I T amp cdots amp sigma 1N mathbf I T vdots amp ddots amp vdots sigma N1 mathbf I T amp cdots amp sigma NN mathbf I T end pmatrix begin pmatrix sigma 11 amp cdots amp sigma 1N vdots amp ddots amp vdots sigma N1 amp cdots amp sigma NN end pmatrix otimes mathbf I T amp mathbf Sigma otimes mathbf I T mathbf Phi end aligned nbsp Darstellung BearbeitenSiehe auch Mehrdimensionale Normalverteilung Streuregionen der mehrdimensionalen Normalverteilung Die Kovarianzmatrix kann als Naherung an die Streuregion und die Standardabweichungsellipse dargestellt werden Siehe auch BearbeitenKorrelationsmatrix HauptkomponentenanalyseLiteratur BearbeitenFriedrich Schmid Mark Trede Finanzmarktstatistik Springer Verlag Berlin 2006 ISBN 3 540 27723 4 eingeschrankte Vorschau in der Google Buchsuche Einzelnachweise Bearbeiten George G Judge R Carter Hill W Griffiths Helmut Lutkepohl T C Lee Introduction to the Theory and Practice of Econometrics 2 Auflage John Wiley amp Sons New York Chichester Brisbane Toronto Singapore 1988 ISBN 0 471 62414 4 S 43 George G Judge R Carter Hill W Griffiths Helmut Lutkepohl T C Lee Introduction to the Theory and Practice of Econometrics 2 Auflage John Wiley amp Sons New York Chichester Brisbane Toronto Singapore 1988 ISBN 0 471 62414 4 S 43 Jeffrey Marc Wooldridge Introductory econometrics A modern approach 5 Auflage Nelson Education 2015 S 857 George G Judge R Carter Hill W Griffiths Helmut Lutkepohl T C Lee Introduction to the Theory and Practice of Econometrics 2 Auflage John Wiley amp Sons New York Chichester Brisbane Toronto Singapore 1988 ISBN 0 471 62414 4 S 78 Arnold L O amp Owaida M 2020 Single Pass Covariance Matrix Calculation on a Hybrid FPGA CPU Platform In EPJ Web of Conferences Vol 245 EDP Sciences Spezielle Matrizen in der Statistik Datenmatrix Produktsummenmatrix Pradiktionsmatrix residuenerzeugende Matrix zentrierende Matrix Kovarianzmatrix Korrelationsmatrix Prazisionsmatrix Gewichtsmatrix Restriktionsmatrix Fisher Informationsmatrix Bernoulli Matrix Leslie Matrix Zufallsmatrix Ubergangsmatrix Abgerufen von https de wikipedia org w index php title Kovarianzmatrix amp oldid 237995730
