Regression der partiellen kleinsten Quadrate Partielle Kleinste Quadrate Regression PLS 1 ist ein Regressionsmodell ahnlich zu Hauptkomponentenregression bei dem die Eingabe iterativ in latente Raume projiziert wird welche moglichst korreliert mit dem Ausgaberaum sind Aus diesen Projektionen werden mehrere hierarchische lineare Regressionsmodelle aufgebaut Inhaltsverzeichnis 1 Kernidee des Algorithmus 1 1 Matrixnotation 2 Ergebnis 3 Vorteile 4 Weblinks 5 EinzelnachweiseKernidee des Algorithmus Bearbeiten nbsp Kernidee der Regression der partiellen kleinsten Quadrate Die Loading Vektoren v 1 w 1 displaystyle vec v 1 vec w 1 nbsp im Ein und Ausgaberaum sind rot gezeichnet hier zur besseren Sichtbarkeit nicht normiert Nimmt x 1 displaystyle x 1 nbsp zu unabhangig von x 2 displaystyle x 2 nbsp so nehmen y 1 displaystyle y 1 nbsp und y 2 displaystyle y 2 nbsp zu Gegeben seinen n displaystyle n nbsp Gepaarte Zufallsstichproben x i y i i 1 n displaystyle vec x i vec y i i in 1 n nbsp Die Regression der partiellen kleinsten Quadrate sucht im ersten Schritt j 1 displaystyle j 1 nbsp die normierten Richtung v j displaystyle vec v j nbsp w j displaystyle vec w j nbsp so dass die Korrelation maximiert wird max v j w j E X Y v j X z j w j Y r j max v j w j v j E X Y X Y w j displaystyle max vec v j vec w j E vec X vec Y underbrace vec v j cdot vec X z j underbrace vec w j cdot vec Y r j max vec v j vec w j vec v j E vec X vec Y vec X vec Y cdot vec w j nbsp mit Korrelationsmatrix im letzten Term und v j 1 displaystyle vec v j 1 nbsp w j 1 displaystyle vec w j 1 nbsp Da die gepaarten Stichproben x i y i displaystyle vec x i vec y i nbsp zufallig aus der gemeinsamen Verteilung P X Y displaystyle P vec X vec Y nbsp gezogen wurden also X i Y i P X Y displaystyle vec X i vec Y i sim P vec X vec Y nbsp gilt kann der Erwartungswert durch den Stichprobenmittelwert geschatzt werden max v j w j E X Y v j X z j w j Y r j max v j w j 1 n i 1 n v j x i z i j w j y i r i j displaystyle max vec v j vec w j hat E X Y underbrace vec v j cdot vec X z j underbrace vec w j cdot vec Y r j max vec v j vec w j frac 1 n sum i 1 n underbrace vec v j cdot vec x i z i j underbrace vec w j cdot vec y i r i j nbsp v j displaystyle vec v j nbsp ist Input Loading Vektor im j displaystyle j nbsp ten Schritt w j displaystyle vec w j nbsp ist der Output Loading Vektor im j displaystyle j nbsp ten Schritt die Projektion z i j displaystyle z i j nbsp ist der Input Score der Stichprobe i displaystyle i nbsp die Projektion r i j displaystyle r i j nbsp ist der Output Score der Stichprobe i displaystyle i nbsp nbsp Dieser Artikel oder Abschnitt bedarf einer grundsatzlichen Uberarbeitung Naheres sollte auf der Diskussionsseite angegeben sein Bitte hilf mit ihn zu verbessern und entferne anschliessend diese Markierung Fur den j 1 displaystyle j 1 nbsp ten Schritt werden die Daten im Eingaberaum deflated jedoch nicht im Ausgaberaum und dann erneut Richtungen v j 1 displaystyle vec v j 1 nbsp w j 1 displaystyle vec w j 1 nbsp gesucht x i j 1 x i j v j x i j v j x i j z i j v j displaystyle vec x i j 1 vec x i j vec v j vec x i j vec v j vec x i j z i j vec v j nbsp Matrixnotation Bearbeiten Dieser Algorithmus kann in Matrix Schreibweise notiert werden Dazu sammeln wir die Beobachtungen x 1 x n displaystyle vec x 1 dots vec x n nbsp in einer Matrix X displaystyle X nbsp der Dimension n f x displaystyle n times f x nbsp mit f x displaystyle f x nbsp der Zahl der Merkmale im Eingaberaum sodass jede Zeile der Matrix eine Beobachtung ist analog fur die Beobachtungen y 1 y n displaystyle vec y 1 dots vec y n nbsp Es gilt somit X a b x a b displaystyle X alpha beta vec x alpha beta nbsp Fur jede Beobachtung gilt nun dass sie in der Basis der Loading Vektoren dargestellt werden kann x a j x a v j v j ϵ a j z a j v j ϵ a displaystyle vec x alpha sum j vec x alpha vec v j vec v j vec epsilon alpha sum j z alpha j vec v j vec epsilon alpha nbsp mit einem Restterm ϵ a displaystyle vec epsilon alpha nbsp Fur das Matrixelement gilt daher X a b j z a j v j b ϵ a b Z V E a b displaystyle X alpha beta sum j z alpha j vec v j beta vec epsilon alpha beta ZV mathrm E alpha beta nbsp bzw fur die Matrix X Z V E displaystyle X ZV mathrm E nbsp analog fur Y R W G displaystyle Y RW Gamma nbsp Manchmal wird statt der Matrix V auch mit ihrer transponierten V V T displaystyle tilde V V T nbsp gearbeitet dann gilt X Z V T E displaystyle X Z tilde V T mathrm E nbsp und Y R W T G displaystyle Y R tilde W T Gamma nbsp Ergebnis BearbeitenNach Auffinden der Loading Vektoren findet haufig eine Interpretation der Loading Vektoren sowie der Input Scores statt Im Biplot werden die Input Scores z i j 1 z i j 2 displaystyle z i j 1 z i j 2 nbsp ausgewahlter PLS Schritte dargestellt z B j 1 und j 2 Component 1 and Component 2 im Bild Dadurch entsteht eine Punkt Wolke der Projektionen der in hoheren Schritten durch Deflation modifizierten Eingabedaten x i displaystyle x i nbsp auf die Richtungen v j displaystyle vec v j nbsp Die Pfeile im Biplot werden durch die Projektionen der kunstlichen Daten x 1 1 0 0 displaystyle vec hat x 1 begin pmatrix 1 0 dots 0 end pmatrix nbsp x 2 0 1 0 displaystyle vec hat x 2 begin pmatrix 0 1 dots 0 end pmatrix dots nbsp und der jeweils korrespondierenden Input Scores z 1 j 1 v 1 1 z 1 j 2 v 2 1 displaystyle hat z 1 j 1 vec v 1 1 hat z 1 j 2 vec v 2 1 nbsp erhalten Da diese kunstlichen Daten jeweils ein Merkmal one hot encoden kann ihnen eindeutig ein Merkmal zugewiesen werden welches im Biplot oft direkt an den Pfeil geschrieben wird nbsp Biplot als Ergebnis der PLS die gestreuten Punkte sind die Input Scores der Beobachtungen Pfeile zeigen die Beitrage jedes Features zum ersten und zweiten Input Loading VektorVorteile BearbeitenIm Vergleich zur Hauptkomponentenanalyse werden nicht die Richtungen maximaler Varianz im Eingaberaum gefunden sondern die Richtungen maximaler Korrelation von Ein und Ausgabedaten Man konnte sonst beispielsweise x Variablen eine hohe Gewichtung geben die eine hohe Varianz besitzen jedoch gar nicht mit der Zielvariablen korrelieren Weblinks BearbeitenVideo Vorlesung zur Regression der partiellen kleinsten Quadrate von Prof Harry Asada Ford Professor of Engineering MITEinzelnachweise Bearbeiten Svante Wold Michael Sjostrom Lennart Eriksson PLS regression a basic tool of chemometrics In Chemometrics and Intelligent Laboratory Systems Band 58 Nr 2 Oktober 2001 S 109 130 doi 10 1016 S0169 7439 01 00155 1 elsevier com abgerufen am 27 April 2022 Abgerufen von https de wikipedia org w index php title Regression der partiellen kleinsten Quadrate amp oldid 238189508
