www.wikidata.de-de.nina.az

Kernregression Unter englisch kernel regression daher auch Kernel Regression versteht man eine Reihe nichtparametrischer

Kernregression

Unter Kernregression (englisch kernel regression, daher auch Kernel-Regression) versteht man eine Reihe nichtparametrischer statistischer Methoden, bei denen die Abhängigkeit einer zufälligen Größe von Ausgangsdaten mittels Kerndichteschätzung geschätzt wird. Die Art der Abhängigkeit, dargestellt durch die Regressionskurve, wird im Gegensatz zur linearen Regression nicht als linear festgelegt. Der Vorteil ist eine bessere Anpassung an die Daten im Falle nichtlinearer Zusammenhänge. Abhängig davon, ob die Ausgangsdaten selbst zufällig sind oder nicht, unterscheidet man zwischen Random-Design- und Fixed-Design-Ansätzen. Das grundlegende Verfahren wurde 1964 unabhängig voneinander von Geoffrey Watson und Elisbar Nadaraia (englische Transkription: Elizbar Nadaraya) vorgeschlagen.

Eindimensionale Kernregression Bearbeiten

Kerndichteschätzer Bearbeiten

Dotplot, Histogramm und Kerndichteschätzer der Variablen LSTAT des Boston-Housing-Datensatzes.

Ein Kerndichteschätzer zur Bandweite ist eine Schätzung der unbekannten Dichtefunktion einer Variablen. Ist eine Stichprobe, ein Kern, so ist die Kerndichteschätzung definiert als:

Wie die Grafik rechts zeigt, ist die Wahl der Bandbreite entscheidend für die Qualität der Approximation.

Typische Kerne mit
unbeschränktem Träger Träger
Kern Kern
Gauß-Kern Gleichverteilungs- oder Rechteckskern
Cauchy-Kern Dreieck-Kern
Picard-Kern Kosinus-Kern

Epanechnikov-Kern (p=1)
quartischer Kern (p=2)
Triweight-Kern (p=3)


Nadaraya-Watson-Schätzer Bearbeiten

Lineare Regression (schwarz) und Nadaraya-Watson-Schätzer mit verschiedenen Bandweiten (rot: mittel, grün: groß und blau: klein)

Der Nadaraya-Watson-Schätzer schätzt eine unbekannte Regressionsfunktion aus den Beobachtungsdaten als

mit und einem Kern und einer Bandweite . Die Funktion ist dabei eine Funktion, die Beobachtungen nahe ein großes Gewicht und Beobachtungen weit entfernt von ein kleines Gewicht zuordnet. Die Bandweite legt fest, in welchem Bereich um die Beobachtungen ein großes Gewicht haben.

Während die Wahl des Kerns meist recht frei erfolgen kann, hat die Wahl der Bandweite einen großen Einfluss auf die Glattheit des Schätzers. Die Grafik rechts zeigt, dass eine große Bandweite (grün) zu einer glatteren Schätzung führt als die Wahl einer kleinen Bandweite (blau).

Ableitung Bearbeiten

Die Idee des Nadaraya-Watson-Schätzers beruht darauf, dass die unbekannte Regressionsfunktion

mit Hilfe des bedingten Erwartungswertes durch die gemeinsame Dichte und die Randdichte dargestellt wird.

Die unbekannten Dichten und werden mit Hilfe einer Kerndichteschätzung geschätzt. Zur Berechnung der gemeinsamen Dichte aus den Beobachtungen wird ein bivariater Kerndichteschätzer mit Produktkern und Bandweiten und genutzt:

Es folgt

und mittels Kerndichteschätzung für der Nadaraya-Watson-Schätzer.

Eigenschaften Bearbeiten

Gewichte für verschiedene , und Bandweiten .

1. Wie im Fall der linearen Regression kann der Nadaraya-Watson-Schätzer auch als Linearkombination der mit Gewichtsfunktionen geschrieben werden:

Damit ist der Nadaraya-Watson-Schätzer das (lokal) gewichtete Mittel der Beobachtungswerte , es gilt

Die Grafik rechts zeigt die Gewichte für verschiedene Werte von (blau: , grün: , rot: ). Das Punktdiagramm unterhalb von Null zeigt die Daten der erklärenden Variable. Je größer die Bandweite ist (durchgezogene Linie vs. gestrichelte Linie), desto mehr Beobachtungen um haben ein Gewicht ungleich null. Je weniger Daten zu Verfügung stehen (rechts), desto stärker müssen die verfügbaren Beobachtungen gewichtet werden.

2. Die mittlere quadratische Abweichung ergibt sich approximativ als

mit und unabhängig von und . Damit ist die Konvergenz langsamer als bei der linearen Regression, d. h. mit der gleichen Zahl von Beobachtungen kann der Vorhersagewert in der linearen Regression präziser geschätzt werden als beim Nadaraya-Watson-Schätzer.

Dabei ist die quadrierte Verzerrung (englisch bias) des Nadaraya-Watson-Schätzers

mit und die erste bzw. zweite Ableitung der unbekannten Regressionsfunktion, die erste Ableitung der Dichte und .

Und die Varianz des Schätzers

mit und .

Bandweitenwahl Bearbeiten

Resubstitution und Leave-One-Out Kreuzvalidierung für die Bandweite des Nadaraya-Watson Schätzers für das obige Beispiel. Die „optimale“ Bandweite ergibt sich für ca. .

Das Hauptproblem bei der Kernregression ist die Wahl einer geeigneten Bandweite . Als Basis dient die Minimierung der mittleren quadratische Abweichung

bzw. deren Approximation. Die Approximation enthält jedoch die zweite Ableitung der unbekannten Regressionsfunktion sowie die unbekannte Dichtefunktion und deren Ableitung. Stattdessen wird die datenbasierten gemittelte quadratische Abweichung

minimiert. Da zur Schätzung von der Wert von genutzt wird, führt eine Bandweite zu einem (Resubstitution Schätzung). Daher wird eine Leave-One-Out-Kreuzvalidierung durchgeführt, d. h. zur Berechnung des Schätzwertes werden alle Beobachtungen herangezogen außer der i-ten. Damit wird der für verschiedene Bandweiten berechnet. Die Bandweite, die einen minimalen ASE ergibt, wird dann zur Schätzung der unbekannten Regressionsfunktion genommen.

Konfidenzbänder Bearbeiten

Nach der Schätzung der Regressionsfunktion stellt sich die Frage, wie weit diese von der wahren Funktion abweicht. Die Arbeit von Bickel und Rosenblatt (1973) liefert zwei Theoreme für punktweise Konfidenzbänder und gleichmäßige Konfidenzbänder.

Neben der Information über die Abweichung zwischen und liefern die Konfidenzbänder einen Hinweis darauf, ob ein mögliches parametrisches Regressionsmodell, z. B. eine lineare Regression, zu den Daten passt. Liegt der geschätzte Verlauf der Regressionsfunktion des parametrischen Regressionsmodells außerhalb der Konfidenzbänder, so ist dies ein Hinweis darauf, dass das parametrische Regressionsmodell nicht zu den Daten passt. Ein formaler Test ist mit Hilfe von Bootstrapping-Verfahren möglich.

Lineare Regression (schwarz) und Nadaraya-Watson-Schätzer (rot) mit optimaler Bandweite und punktweisen 95%-Konfidenzband.

Punktweise Konfidenzbänder: Unter bestimmten Voraussetzungen konvergiert in Verteilung

mit , und .

Wenn die Bandweite klein genug ist, dann kann die asymptotische Verzerrung vernachlässigt werden gegen die asymptotische Varianz . Damit können approximative Konfidenzbänder berechnet werden

mit das Quantil der Standardnormalverteilung. Die unbekannte Dichte wird dabei mit einer Kerndichteschätzung geschätzt und mit

Die Grafik rechts zeigt den Nadaraya-Watson-Schätzer mit punktweisen 95% Konfidenzband (rote Linien). Die schwarze lineare Regressionsgerade liegt in verschiedenen Bereichen deutlich außerhalb der Konfidenzbandes. Dies ist ein Hinweis darauf, dass ein lineares Regressionsmodell hier nicht angemessen ist.

Gleichmäßige Konfidenzbänder: Unter etwas stärkeren Voraussetzungen als zuvor und mit , mit und für Kerne mit Träger in konvergiert

mit

Die Bedingung ist keine Einschränkung, da die Daten erst auf das Intervall transformiert werden können. Danach wird das Konfidenzband berechnet und wieder zurücktransformiert auf die Originaldaten.

Gasser-Müller-Schätzer Bearbeiten

Im Fixed-Design-Fall mit ist die Dichte bekannt, muss also nicht geschätzt werden. Dies vereinfacht sowohl die Berechnungen als auch die mathematische Behandlung des Schätzers. Für diesen Fall wurde der Gasser-Müller-Schätzer definiert als

mit

und , und .

Eigenschaften Bearbeiten

1. Der Gasser-Müller Schätzer ist wie der Nadaraya-Watson-Schätzer ein linearer Schätzer und die Summe der Gewichtsfunktionen ist eins.

2. Für die mittlere quadratische Abweichung gilt:

Lokal polynomiale Kernregression Bearbeiten

Lokale Approximationen für den Nadaraya-Watson-Schätzer (lokal konstant) und den lokal linearen Schätzer an ausgewählten Datenpunkten. Die Grafik ist eingeschränkt auf Bereich der x-Werte (also linker Rand der Daten), die Berechnungen wurden jedoch mit allen Daten durchgeführt.

Der Nadaraya-Watson Schätzer kann als Lösung des folgenden lokalen Minimierungsproblem geschrieben werden:

d .h. für jedes wird ein lokal konstanter Wert bestimmt, der gleich dem Wert des Nadaraya-Watson Schätzer an der Stelle ist.

Anstelle einer lokalen Konstanten kann auch ein Polynom verwendet werden:

d. h. der unbekannte Regressionswert wird durch ein lokales Polynom approximiert. Die lokal polynomiale Kernregression ergibt sich an jeder Stelle durch

Die Grafik rechts zeigt an ausgewählten Stellen die verwendeten lokalen Polynome. Der Nadaraya-Watson Schätzer (rot) nutzt lokal konstanten Funktionen . Die lokal lineare Kernregression (blau) nutzt lokal lineare Funktionen an der Stelle . Die ausgewählten Stellen sind in der Grafik mit Datenpunkten identisch. Die senkrechten grauen Linien verbinden die lokalen Polynome mit dem zugehörigen x-Wert (Datenpunkt). Der Schnittpunkt mit dem roten bzw. blauen Polynom ergibt den Schätzwert an der entsprechenden Stelle für den Nadaraya-Watson Schätzer und die lokal lineare Kernregression.

Vorteile und Eigenschaften Bearbeiten

Die lokal polynomiale Regression bietet gegenüber dem Nadaraya-Watson Schätzer einige Vorteile:

  • Im Allgemeinen wird das lokal konstante von Beobachtungswerten beeinflusst die sowohl links als auch rechts vom Wert liegen. An den Rändern funktioniert das jedoch nicht und dies führt zu Randeffekten (englisch boundary effects). Die lokal polynomiale Kernregression approximiert jedoch lokal mit einem Polynom und kann dieses Problem vermeiden.
  • Um die te Ableitung zu schätzen, könnte man einfach den Nadaraya-Watson entsprechend oft ableiten. Mit der lokal polynomialen Kernregression ergibt sich jedoch ein deutlich eleganterer Weg:
Meist wird oder benutzt. Ungerade Ordnungen sind besser als gerade Ordnungen.
  • Wie im Fall der linearen Regression und des Nadaraya-Watson-Schätzer kann auch die lokal polynomiale Kernregression auch als Linearkombination der mit Gewichtsfunktionen geschrieben werden:

Schätzung der Regressionsparameter Bearbeiten

Definiert man die folgenden Matrizen:

und

so ergeben sich die Schätzung der Regressionsparameter als

Die für die Ableitung notwendigen Koeffizienten werden im Schätzverfahren also automatisch mit berechnet!

Um die Schätzung praktisch durchzuführen, berechnet man

und berechnet

Lokal lineare Kernregression Bearbeiten

Verschiedene lokale Regressionsmethoden: Nadaraya-Watson (rot), Lokal-linear (blau) und LOWESS (grün) und lineare Regression (schwarz).

Eines der bekanntesten lokal linearen Regressionsmodelle () ist der lokal gewichtete Regression-Streudiagramm-Glätter, abgekürzt mit LOESS (englisch für locally estimated scatterplot smoothing, deutsch lokal geschätzte Streudiagrammglättung) oder veraltet LOWESS (englisch für locally weighted scatterplot smoothing, deutsch lokal gewichtete Streudiagrammglättung). Der LOWESS ist jedoch keine lokal-lineare Kernregression, denn

  • die Regressionsgewichte werden robust geschätzt und
  • die Bandweite variiert mit .

Die Grafik rechts zeigt zwei verschiedene Methoden der Kernregression: Lokal konstant (rot, Nadaraya-Watson) und lokal linear (blau). Insbesondere an den Rändern approximiert die lokal lineare Kernregression die Daten etwas besser.

Die lokal lineare Kernregression ergibt sich als

Die mittlere quadratische Abweichung der lokal linearen Regression ergibt sich, wie beim Nadaraya-Watson-Schätzer, als

mit

und die Varianz ist identisch zur Varianz des Nadaraya-Watson-Schätzers . Die einfachere Form der Verzerrung macht die lokal lineare Kernregression attraktiver für praktische Zwecke.

Einzelnachweise Bearbeiten

  1. Elizbar A. Nadaraya: On estimating regression. In: Theory of Probability and its Applications. Band 9, Nr. 1, 1964, S. 141–142, doi:10.1137/1109020.
  2. Geoffrey S. Watson: Smooth Regression Analysis. In: Sankhyā: The Indian Journal of Statistics, Series A. Band 26, Nr. 4, Dezember 1964, S. 359–372.
  3. Bickel, Rosenblatt (1973) On some global measures of the deviations of density function estimators, Annals of Statistics 1, S. 1071–1095
  4. Theo Gasser, Hans-Georg Müller: Estimating Regression Functions and Their Derivatives by the Kernel Method. In: Scandinavian Journal of Statistics. Band 11, Nr. 3, 1984, S. 171–185.
  5. W.S. Cleveland: Robust Locally Weighted Regression and Smoothing Scatterplots. In: Journal of the American Statistical Association. Band 74, Nr. 368, Dezember 1979, S. 829–836, JSTOR:2286407.

Literatur Bearbeiten

  • Jianqing Fan, Irene Gijbels: Local Polynomial Modelling and Its Applications. Chapman and Hall/CRC, 1996, ISBN 978-0-412-98321-4.
  • Wolfgang Härdle, Marlene Müller, Stefan Sperlich, Axel Werwatz: Nonparametric and Semiparametric Models. Springer Verlag, Berlin, Heidelberg 2004, ISBN 978-3-540-20722-1 (hu-berlin.de).
  • Tristen Hayfield, Jeffrey S. Racine: Nonparametric Econometrics: The np Package. In: Journal of Statistical Software. Band 27, Nr. 5, 2008 (jstatsoft.org).
  • M.P. Wand, M.C. Jones: Kernel Smoothing. Chapman and Hall/CRC, 1994, ISBN 978-0-412-55270-0.
wikipedia, wiki, deutsches, deutschland, buch, bücher, bibliothek artikel lesen, herunterladen kostenlos kostenloser herunterladen, MP3, Video, MP4, 3GP, JPG, JPEG, GIF, PNG, Bild, Musik, Lied, Film, Buch, Spiel, Spiele
Veröffentlichungsdatum:
Unter Kernregression englisch kernel regression daher auch Kernel Regression versteht man eine Reihe nichtparametrischer statistischer Methoden bei denen die Abhangigkeit einer zufalligen Grosse von Ausgangsdaten mittels Kerndichteschatzung geschatzt wird Die Art der Abhangigkeit dargestellt durch die Regressionskurve wird im Gegensatz zur linearen Regression nicht als linear festgelegt Der Vorteil ist eine bessere Anpassung an die Daten im Falle nichtlinearer Zusammenhange Abhangig davon ob die Ausgangsdaten selbst zufallig sind oder nicht unterscheidet man zwischen Random Design und Fixed Design Ansatzen Das grundlegende Verfahren wurde 1964 unabhangig voneinander von Geoffrey Watson und Elisbar Nadaraia englische Transkription Elizbar Nadaraya vorgeschlagen Inhaltsverzeichnis 1 Eindimensionale Kernregression 1 1 Kerndichteschatzer 1 2 Nadaraya Watson Schatzer 1 2 1 Ableitung 1 2 2 Eigenschaften 1 2 3 Bandweitenwahl 1 2 4 Konfidenzbander 1 3 Gasser Muller Schatzer 1 3 1 Eigenschaften 1 4 Lokal polynomiale Kernregression 1 4 1 Vorteile und Eigenschaften 1 4 2 Schatzung der Regressionsparameter 1 4 3 Lokal lineare Kernregression 2 Einzelnachweise 3 LiteraturEindimensionale Kernregression BearbeitenKerndichteschatzer Bearbeiten nbsp Dotplot Histogramm und Kerndichteschatzer der Variablen LSTAT des Boston Housing Datensatzes Ein Kerndichteschatzer f displaystyle hat f nbsp zur Bandweite h gt 0 displaystyle h gt 0 nbsp ist eine Schatzung der unbekannten Dichtefunktion f displaystyle f nbsp einer Variablen Ist x 1 x n displaystyle x 1 ldots x n nbsp eine Stichprobe K displaystyle K nbsp ein Kern so ist die Kerndichteschatzung definiert als f x 1 n j 1 n K h x x j 1 n h j 1 n K x x j h displaystyle hat f x frac 1 n sum j 1 n K h x x j frac 1 nh sum j 1 n K left frac x x j h right nbsp Wie die Grafik rechts zeigt ist die Wahl der Bandbreite h displaystyle h nbsp entscheidend fur die Qualitat der Approximation Hauptartikel Kerndichteschatzer Typische Kerne mitunbeschranktem Trager Trager 1 1 displaystyle 1 1 nbsp Kern K u displaystyle K u nbsp Kern K u I u 1 displaystyle K u I u leq 1 nbsp Gauss Kern 1 2 p exp 1 2 u 2 displaystyle tfrac 1 sqrt 2 pi exp tfrac 1 2 u 2 nbsp Gleichverteilungs oder Rechteckskern 1 2 displaystyle tfrac 1 2 nbsp Cauchy Kern 1 p 1 u 2 displaystyle tfrac 1 pi 1 u 2 nbsp Dreieck Kern 1 u displaystyle 1 u nbsp Picard Kern 1 2 exp u displaystyle tfrac 1 2 exp u nbsp Kosinus Kern p 4 cos p 2 u displaystyle tfrac pi 4 cos tfrac pi 2 u nbsp Epanechnikov Kern p 1 quartischer Kern p 2 Triweight Kern p 3 C p 1 u 2 p displaystyle C p 1 u 2 p nbsp C p 3 4 displaystyle C p 3 4 nbsp C p 15 16 displaystyle C p 15 16 nbsp C p 35 32 displaystyle C p 35 32 nbsp Nadaraya Watson Schatzer Bearbeiten nbsp Lineare Regression schwarz und Nadaraya Watson Schatzer mit verschiedenen Bandweiten rot mittel grun gross und blau klein Der Nadaraya Watson Schatzer schatzt eine unbekannte Regressionsfunktion m x displaystyle m x nbsp aus den Beobachtungsdaten x 1 y 1 x n y n displaystyle x 1 y 1 dots x n y n nbsp als 1 2 m x i 1 n y i K h x x i i 1 n K h x x i displaystyle hat m x frac sum i 1 n y i K h x x i sum i 1 n K h x x i nbsp mit K h u K u h h displaystyle K h u K u h h nbsp und einem Kern K displaystyle K nbsp und einer Bandweite h gt 0 displaystyle h gt 0 nbsp Die Funktion K h displaystyle K h nbsp ist dabei eine Funktion die Beobachtungen nahe x displaystyle x nbsp ein grosses Gewicht und Beobachtungen weit entfernt von x displaystyle x nbsp ein kleines Gewicht zuordnet Die Bandweite legt fest in welchem Bereich um x displaystyle x nbsp die Beobachtungen ein grosses Gewicht haben Wahrend die Wahl des Kerns meist recht frei erfolgen kann hat die Wahl der Bandweite einen grossen Einfluss auf die Glattheit des Schatzers Die Grafik rechts zeigt dass eine grosse Bandweite grun zu einer glatteren Schatzung fuhrt als die Wahl einer kleinen Bandweite blau Ableitung Bearbeiten Die Idee des Nadaraya Watson Schatzers beruht darauf dass die unbekannte Regressionsfunktion Y m X displaystyle Y m X nbsp mit Hilfe des bedingten Erwartungswertes durch die gemeinsame Dichte f x y displaystyle f x y nbsp und die Randdichte f X x displaystyle f X x nbsp dargestellt wird m x E Y X x y f x y f X x d y y f x y d y f X x displaystyle m x operatorname E Y mid X x int y frac f x y f X x mathrm d y frac int yf x y mathrm d y f X x nbsp Die unbekannten Dichten f x y displaystyle f x y nbsp und f X x displaystyle f X x nbsp werden mit Hilfe einer Kerndichteschatzung geschatzt Zur Berechnung der gemeinsamen Dichte aus den Beobachtungen wird ein bivariater Kerndichteschatzer mit Produktkern K x y K x K y displaystyle K x y K x K y nbsp und Bandweiten g displaystyle g nbsp und h displaystyle h nbsp genutzt f g h x y 1 n i 1 n K h x x i K g y y i displaystyle widehat f g h x y frac 1 n sum i 1 n K h x x i K g y y i nbsp Es folgt y K h x x i d y 1 n i 1 n y i K h x x i displaystyle int yK h left x x i right mathrm d y frac 1 n sum i 1 n y i K h x x i nbsp und mittels Kerndichteschatzung fur f X x displaystyle f X x nbsp der Nadaraya Watson Schatzer Eigenschaften Bearbeiten nbsp Gewichte W h i x displaystyle W hi x nbsp fur verschiedene x displaystyle x nbsp i displaystyle i nbsp und Bandweiten h displaystyle h nbsp 1 Wie im Fall der linearen Regression kann der Nadaraya Watson Schatzer auch als Linearkombination der y i displaystyle y i nbsp mit Gewichtsfunktionen W h i displaystyle W hi nbsp geschrieben werden m x i 1 n y i W h i x displaystyle hat m x sum i 1 n y i W hi x nbsp Damit ist der Nadaraya Watson Schatzer das lokal gewichtete Mittel der Beobachtungswerte y i displaystyle y i nbsp es gilt i 1 n W h i x 1 displaystyle sum i 1 n W hi x 1 nbsp Die Grafik rechts zeigt die Gewichte fur verschiedene Werte von x displaystyle x nbsp blau x 10 displaystyle x 10 nbsp grun x 20 displaystyle x 20 nbsp rot x 30 displaystyle x 30 nbsp Das Punktdiagramm unterhalb von Null zeigt die Daten der erklarenden Variable Je grosser die Bandweite ist durchgezogene Linie vs gestrichelte Linie desto mehr Beobachtungen um x displaystyle x nbsp haben ein Gewicht ungleich null Je weniger Daten zu Verfugung stehen rechts desto starker mussen die verfugbaren Beobachtungen gewichtet werden 2 Die mittlere quadratische Abweichung ergibt sich approximativ als MSE m x h 4 B 2 Verzerrung 2 1 n h V Varianz displaystyle operatorname MSE hat m x approx underbrace h 4 B 2 text Verzerrung 2 underbrace frac 1 nh V text Varianz nbsp mit B displaystyle B nbsp und V displaystyle V nbsp unabhangig von n displaystyle n nbsp und h displaystyle h nbsp Damit ist die Konvergenz langsamer als bei der linearen Regression d h mit der gleichen Zahl von Beobachtungen kann der Vorhersagewert in der linearen Regression praziser geschatzt werden als beim Nadaraya Watson Schatzer Dabei ist die quadrierte Verzerrung englisch bias des Nadaraya Watson Schatzers Bias 2 m x h 4 4 m x 2 m x f X x f X x 2 m 2 2 K displaystyle operatorname Bias 2 hat m x frac h 4 4 left m x 2 frac m x f X x f X x right 2 mu 2 2 K nbsp mit m x displaystyle m x nbsp und m x displaystyle m x nbsp die erste bzw zweite Ableitung der unbekannten Regressionsfunktion f X x displaystyle f X x nbsp die erste Ableitung der Dichte f X x displaystyle f X x nbsp und m 2 K u 2 K u d u displaystyle mu 2 K int u 2 K u mathrm d u nbsp Und die Varianz des Schatzers Var m x 1 n h s 2 x f X x K 2 2 displaystyle operatorname Var hat m x frac 1 nh frac sigma 2 x f X x K 2 2 nbsp mit s 2 x Var Y X x displaystyle sigma 2 x operatorname Var Y mid X x nbsp und K 2 K 2 u d u displaystyle K 2 sqrt int K 2 u mathrm d u nbsp Bandweitenwahl Bearbeiten nbsp Resubstitution und Leave One Out Kreuzvalidierung fur die Bandweite des Nadaraya Watson Schatzers fur das obige Beispiel Die optimale Bandweite ergibt sich fur ca h 0 7 displaystyle h 0 7 nbsp Das Hauptproblem bei der Kernregression ist die Wahl einer geeigneten Bandweite h displaystyle h nbsp Als Basis dient die Minimierung der mittleren quadratische Abweichung MSE m x E m x m x 2 displaystyle operatorname MSE hat m x operatorname E left hat m x m x 2 right nbsp bzw deren Approximation Die Approximation enthalt jedoch die zweite Ableitung der unbekannten Regressionsfunktion m x displaystyle m x nbsp sowie die unbekannte Dichtefunktion f X x displaystyle f X x nbsp und deren Ableitung Stattdessen wird die datenbasierten gemittelte quadratische Abweichung ASE m x 1 n i 1 n m x y i 2 displaystyle operatorname ASE hat m x frac 1 n sum i 1 n hat m x y i 2 nbsp minimiert Da zur Schatzung von m x displaystyle hat m x nbsp der Wert von y i displaystyle y i nbsp genutzt wird fuhrt eine Bandweite h 0 displaystyle h 0 nbsp zu einem ASE m x 0 displaystyle operatorname ASE hat m x 0 nbsp Resubstitution Schatzung Daher wird eine Leave One Out Kreuzvalidierung durchgefuhrt d h zur Berechnung des Schatzwertes m x i displaystyle hat m x i nbsp werden alle Beobachtungen herangezogen ausser der i ten Damit wird der ASE m x displaystyle operatorname ASE hat m x nbsp fur verschiedene Bandweiten berechnet Die Bandweite die einen minimalen ASE ergibt wird dann zur Schatzung der unbekannten Regressionsfunktion genommen Konfidenzbander Bearbeiten Nach der Schatzung der Regressionsfunktion m x displaystyle hat m x nbsp stellt sich die Frage wie weit diese von der wahren Funktion m x displaystyle m x nbsp abweicht Die Arbeit von Bickel und Rosenblatt 1973 3 liefert zwei Theoreme fur punktweise Konfidenzbander und gleichmassige Konfidenzbander Neben der Information uber die Abweichung zwischen m x displaystyle hat m x nbsp und m x displaystyle m x nbsp liefern die Konfidenzbander einen Hinweis darauf ob ein mogliches parametrisches Regressionsmodell z B eine lineare Regression zu den Daten passt Liegt der geschatzte Verlauf der Regressionsfunktion des parametrischen Regressionsmodells ausserhalb der Konfidenzbander so ist dies ein Hinweis darauf dass das parametrische Regressionsmodell nicht zu den Daten passt Ein formaler Test ist mit Hilfe von Bootstrapping Verfahren moglich nbsp Lineare Regression schwarz und Nadaraya Watson Schatzer rot mit optimaler Bandweite und punktweisen 95 Konfidenzband Punktweise Konfidenzbander Unter bestimmten Voraussetzungen konvergiert in Verteilung n 2 5 m x m x N B x V x displaystyle n 2 5 left hat m x m x right longrightarrow mathcal N B x V x nbsp mit h c n 1 5 displaystyle h cn 1 5 nbsp B x c m 2 K m x 2 m x f X x f X x displaystyle B x c mu 2 K left tfrac m x 2 tfrac m x f X x f X x right nbsp und V x s x K 2 2 c f X x displaystyle V x tfrac sigma x K 2 2 cf X x nbsp Wenn die Bandweite klein genug ist dann kann die asymptotische Verzerrung B x displaystyle B x nbsp vernachlassigt werden gegen die asymptotische Varianz V x displaystyle V x nbsp Damit konnen approximative 1 a displaystyle 1 alpha nbsp Konfidenzbander berechnet werden m x z 1 a 2 K 2 2 s 2 x n h f X x displaystyle hat m x pm z 1 alpha 2 sqrt frac K 2 2 hat sigma 2 x nh hat f X x nbsp mit z 1 a 2 displaystyle z 1 alpha 2 nbsp das 1 a 2 displaystyle 1 alpha 2 nbsp Quantil der Standardnormalverteilung Die unbekannte Dichte f x x displaystyle f x x nbsp wird dabei mit einer Kerndichteschatzung f X x displaystyle hat f X x nbsp geschatzt und s 2 x displaystyle sigma 2 x nbsp mit s 2 x 1 n i 1 n W h i x y i m x 2 displaystyle hat sigma 2 x frac 1 n sum i 1 n W hi x left y i hat m x right 2 nbsp Die Grafik rechts zeigt den Nadaraya Watson Schatzer mit punktweisen 95 Konfidenzband rote Linien Die schwarze lineare Regressionsgerade liegt in verschiedenen Bereichen deutlich ausserhalb der Konfidenzbandes Dies ist ein Hinweis darauf dass ein lineares Regressionsmodell hier nicht angemessen ist Gleichmassige Konfidenzbander Unter etwas starkeren Voraussetzungen als zuvor und mit x 0 1 displaystyle x in 0 1 nbsp h n k displaystyle h n kappa nbsp mit 1 5 lt k lt 1 2 displaystyle 1 5 lt kappa lt 1 2 nbsp und fur Kerne mit Trager in 1 1 displaystyle 1 1 nbsp konvergiert P m x m x z n a K 2 2 s 2 x n h f X x 1 a displaystyle P left hat m x m x leq z n alpha sqrt frac K 2 2 hat sigma 2 x nh hat f X x right longrightarrow 1 alpha nbsp mit z n a 1 2 k log n log 1 2 p K 2 K 2 1 2 log 1 2 log 1 a 2 k log n displaystyle z n alpha sqrt frac 1 sqrt 2 kappa log n left log left frac 1 2 pi frac K 2 K 2 right 1 2 log left frac 1 2 log 1 alpha right right sqrt 2 kappa log n nbsp Die Bedingung x 0 1 displaystyle x in 0 1 nbsp ist keine Einschrankung da die Daten x i displaystyle x i nbsp erst auf das Intervall 0 1 displaystyle 0 1 nbsp transformiert werden konnen Danach wird das Konfidenzband berechnet und wieder zurucktransformiert auf die Originaldaten Gasser Muller Schatzer Bearbeiten Im Fixed Design Fall mit a x 1 x 2 x n b displaystyle a x 1 leq x 2 leq dots leq x n b nbsp ist die Dichte f X x displaystyle f X x nbsp bekannt muss also nicht geschatzt werden Dies vereinfacht sowohl die Berechnungen als auch die mathematische Behandlung des Schatzers Fur diesen Fall wurde der Gasser Muller Schatzer definiert als 4 m G M x i 1 n y i W h i G M x displaystyle hat m GM x sum i 1 n y i W hi GM x nbsp mit W h i G M x n s i 1 s i K h x u d u displaystyle W hi GM x n int s i 1 s i K h x u mathrm d u nbsp und s 0 a displaystyle s 0 a nbsp s n 1 b displaystyle s n 1 b nbsp und s i x i x i 1 2 displaystyle s i x i x i 1 2 nbsp Eigenschaften Bearbeiten 1 Der Gasser Muller Schatzer ist wie der Nadaraya Watson Schatzer ein linearer Schatzer und die Summe der Gewichtsfunktionen ist eins 2 Fur die mittlere quadratische Abweichung gilt MSE m G M x h 4 4 m 2 2 K m x 2 Verzerrung 2 1 n h K 2 2 Varianz displaystyle operatorname MSE hat m GM x approx underbrace frac h 4 4 mu 2 2 K m x 2 text Verzerrung 2 underbrace frac 1 nh K 2 2 text Varianz nbsp Lokal polynomiale Kernregression Bearbeiten nbsp Lokale Approximationen fur den Nadaraya Watson Schatzer lokal konstant und den lokal linearen Schatzer an ausgewahlten Datenpunkten Die Grafik ist eingeschrankt auf Bereich 1 5 5 displaystyle 1 5 5 nbsp der x Werte also linker Rand der Daten die Berechnungen wurden jedoch mit allen Daten durchgefuhrt Der Nadaraya Watson Schatzer kann als Losung des folgenden lokalen Minimierungsproblem geschrieben werden min b 0 0 i 1 n y i b 0 0 2 K h x x i displaystyle min beta 0 0 sum i 1 n left y i beta 0 0 right 2 K h x x i nbsp d h fur jedes x displaystyle x nbsp wird ein lokal konstanter Wert b 0 0 displaystyle beta 0 0 nbsp bestimmt der gleich dem Wert des Nadaraya Watson Schatzer m x displaystyle hat m x nbsp an der Stelle x displaystyle x nbsp ist Anstelle einer lokalen Konstanten kann auch ein Polynom verwendet werden min b 0 p b p p i 1 n y i b 0 p b 1 p x i x b p p x i x p 2 K h x x i displaystyle min beta 0 p dots beta p p sum i 1 n y i beta 0 p beta 1 p x i x dots beta p p x i x p 2 K h x x i nbsp d h der unbekannte Regressionswert wird durch ein lokales Polynom approximiert Die lokal polynomiale Kernregression m p x displaystyle m p x nbsp ergibt sich an jeder Stelle durch m p x b 0 p displaystyle m p x hat beta 0 p nbsp Die Grafik rechts zeigt an ausgewahlten Stellen x displaystyle x nbsp die verwendeten lokalen Polynome Der Nadaraya Watson Schatzer rot nutzt lokal konstanten Funktionen b 0 0 displaystyle beta 0 0 nbsp Die lokal lineare Kernregression blau nutzt lokal lineare Funktionen b 0 1 b 1 1 x x displaystyle beta 0 1 beta 1 1 tilde x x nbsp an der Stelle x displaystyle x nbsp Die ausgewahlten Stellen x displaystyle x nbsp sind in der Grafik mit Datenpunkten identisch Die senkrechten grauen Linien verbinden die lokalen Polynome mit dem zugehorigen x Wert Datenpunkt Der Schnittpunkt mit dem roten bzw blauen Polynom ergibt den Schatzwert an der entsprechenden Stelle x displaystyle x nbsp fur den Nadaraya Watson Schatzer und die lokal lineare Kernregression Vorteile und Eigenschaften Bearbeiten Die lokal polynomiale Regression bietet gegenuber dem Nadaraya Watson Schatzer einige Vorteile Im Allgemeinen wird das lokal konstante b 0 0 displaystyle beta 0 0 nbsp von Beobachtungswerten beeinflusst die sowohl links als auch rechts vom Wert x displaystyle x nbsp liegen An den Randern funktioniert das jedoch nicht und dies fuhrt zu Randeffekten englisch boundary effects Die lokal polynomiale Kernregression approximiert jedoch lokal mit einem Polynom und kann dieses Problem vermeiden Um die v displaystyle v nbsp te Ableitung zu schatzen konnte man einfach den Nadaraya Watson entsprechend oft ableiten Mit der lokal polynomialen Kernregression ergibt sich jedoch ein deutlich eleganterer Weg m p v x v b v p displaystyle m p v x v hat beta v p nbsp dd Meist wird p v 1 displaystyle p v 1 nbsp oder p v 3 displaystyle p v 3 nbsp benutzt Ungerade Ordnungen p displaystyle p nbsp sind besser als gerade Ordnungen Wie im Fall der linearen Regression und des Nadaraya Watson Schatzer kann auch die lokal polynomiale Kernregression auch als Linearkombination der y i displaystyle y i nbsp mit Gewichtsfunktionen W h i p displaystyle W hi p nbsp geschrieben werden m p x i 1 n y i W h i p x displaystyle hat m p x sum i 1 n y i W hi p x nbsp Schatzung der Regressionsparameter Bearbeiten Definiert man die folgenden Matrizen X 1 x 1 x x 1 x p 1 x 2 x x 2 x p 1 x n x x n x p displaystyle mathcal X begin pmatrix 1 amp x 1 x amp cdots amp x 1 x p 1 amp x 2 x amp cdots amp x 2 x p vdots amp vdots amp amp vdots 1 amp x n x amp cdots amp x n x p end pmatrix nbsp Y y 1 y 2 y n displaystyle mathcal Y begin pmatrix y 1 y 2 vdots y n end pmatrix nbsp und W K h x x 1 0 0 0 K h x x 2 0 0 0 K h x x n displaystyle mathcal W begin pmatrix K h x x 1 amp 0 amp cdots amp 0 0 amp K h x x 2 amp cdots amp 0 vdots amp vdots amp ddots amp vdots 0 amp 0 amp cdots amp K h x x n end pmatrix nbsp so ergeben sich die Schatzung der Regressionsparameter b b 0 p b p p T displaystyle beta beta 0 p dots beta p p T nbsp als b X T W X 1 X T W Y displaystyle hat beta left mathcal X T mathcal W mathcal X right 1 mathcal X T mathcal W mathcal Y nbsp Die fur die Ableitung notwendigen Koeffizienten werden im Schatzverfahren also automatisch mit berechnet Um die Schatzung praktisch durchzufuhren berechnet man S j i 1 n K h x x i x i x j displaystyle S j sum i 1 n K h x x i x i x j nbsp T j i 1 n K h x x i x i x j y i displaystyle T j sum i 1 n K h x x i x i x j y i nbsp und berechnet b S 0 S 1 S p S 1 S 2 S p 1 S p S p 1 S 2 p 1 T 0 T 1 T p displaystyle hat beta begin pmatrix S 0 amp S 1 amp cdots amp S p S 1 amp S 2 amp cdots amp S p 1 vdots amp vdots amp ddots amp vdots S p amp S p 1 amp cdots amp S 2p end pmatrix 1 begin pmatrix T 0 T 1 vdots T p end pmatrix nbsp Lokal lineare Kernregression Bearbeiten nbsp Verschiedene lokale Regressionsmethoden Nadaraya Watson rot Lokal linear blau und LOWESS grun und lineare Regression schwarz Eines der bekanntesten lokal linearen Regressionsmodelle p 1 displaystyle p 1 nbsp ist der lokal gewichtete Regression Streudiagramm Glatter abgekurzt mit LOESS englisch fur locally estimated scatterplot smoothing deutsch lokal geschatzte Streudiagrammglattung oder veraltet LOWESS englisch fur locally weighted scatterplot smoothing deutsch lokal gewichtete Streudiagrammglattung 5 Der LOWESS ist jedoch keine lokal lineare Kernregression denn die Regressionsgewichte werden robust geschatzt und die Bandweite variiert mit x displaystyle x nbsp Die Grafik rechts zeigt zwei verschiedene Methoden der Kernregression Lokal konstant rot Nadaraya Watson und lokal linear blau Insbesondere an den Randern approximiert die lokal lineare Kernregression die Daten etwas besser Die lokal lineare Kernregression ergibt sich als m 1 x T 0 S 2 T 1 S 1 S 0 S 2 S 1 2 displaystyle hat m 1 x frac T 0 S 2 T 1 S 1 S 0 S 2 S 1 2 nbsp Die mittlere quadratische Abweichung der lokal linearen Regression ergibt sich wie beim Nadaraya Watson Schatzer als MSE m 1 x h 4 B 2 Verzerrung 2 1 n h V Varianz displaystyle operatorname MSE hat m 1 x approx underbrace h 4 B 2 text Verzerrung 2 underbrace frac 1 nh V text Varianz nbsp mit Bias 2 m 1 x h 4 4 m x 2 m 2 2 K displaystyle operatorname Bias 2 hat m 1 x frac h 4 4 left m x right 2 mu 2 2 K nbsp und die Varianz ist identisch zur Varianz des Nadaraya Watson Schatzers Var m x displaystyle operatorname Var hat m x nbsp Die einfachere Form der Verzerrung macht die lokal lineare Kernregression attraktiver fur praktische Zwecke Einzelnachweise Bearbeiten Elizbar A Nadaraya On estimating regression In Theory of Probability and its Applications Band 9 Nr 1 1964 S 141 142 doi 10 1137 1109020 Geoffrey S Watson Smooth Regression Analysis In Sankhya The Indian Journal of Statistics Series A Band 26 Nr 4 Dezember 1964 S 359 372 Bickel Rosenblatt 1973 On some global measures of the deviations of density function estimators Annals of Statistics 1 S 1071 1095 Theo Gasser Hans Georg Muller Estimating Regression Functions and Their Derivatives by the Kernel Method In Scandinavian Journal of Statistics Band 11 Nr 3 1984 S 171 185 W S Cleveland Robust Locally Weighted Regression and Smoothing Scatterplots In Journal of the American Statistical Association Band 74 Nr 368 Dezember 1979 S 829 836 JSTOR 2286407 Literatur BearbeitenJianqing Fan Irene Gijbels Local Polynomial Modelling and Its Applications Chapman and Hall CRC 1996 ISBN 978 0 412 98321 4 Wolfgang Hardle Marlene Muller Stefan Sperlich Axel Werwatz Nonparametric and Semiparametric Models Springer Verlag Berlin Heidelberg 2004 ISBN 978 3 540 20722 1 hu berlin de Tristen Hayfield Jeffrey S Racine Nonparametric Econometrics The np Package In Journal of Statistical Software Band 27 Nr 5 2008 jstatsoft org M P Wand M C Jones Kernel Smoothing Chapman and Hall CRC 1994 ISBN 978 0 412 55270 0 Abgerufen von https de wikipedia org w index php title Kernregression amp oldid 241257016