www.wikidata.de-de.nina.az

Unabhängigkeitsanalyse Die bzw Independent Component Analysis ICA ist eine Methode der multivariaten Statistik Sie wurde

Unabhängigkeitsanalyse

Die Unabhängigkeitsanalyse bzw. Independent Component Analysis (ICA) ist eine Methode der multivariaten Statistik. Sie wurde 1991 veröffentlicht und dient der Berechnung unabhängiger Komponenten in einer Mischung statistisch unabhängiger Zufallsvariablen. Sie ist nahe verwandt mit dem Blind-Source-Separation-Problem (BSS).

Problemstellung Bearbeiten

Es wird davon ausgegangen, dass der Vektor aus statistisch unabhängigen Zufallsvariablen besteht. Damit die ICA angewendet werden kann, darf maximal eine der Zufallsvariablen gauß-verteilt sein. Die Zufallsvariablen werden mit einer Mischmatrix multipliziert. Der Einfachheit halber wird davon ausgegangen, dass diese Mischmatrix quadratisch ist. Das Resultat sind gemischte Zufallsvariablen im Vektor , welcher die gleiche Dimension besitzt wie .

Das Ziel der ICA ist es, die unabhängigen Zufallsvariablen im Vektor möglichst originalgetreu zu rekonstruieren. Hierfür steht nur das Ergebnis der Mischung zur Verfügung und das Wissen, dass die Zufallsvariablen ursprünglich stochastisch unabhängig waren. Es ist eine geeignete Matrix gesucht, so dass

Da weder die Mischmatrix noch die unabhängigen Zufallsvariablen bekannt sind, lassen sich diese nur mit Abstrichen rekonstruieren. Die Varianz und damit die Energie der unabhängigen Zufallsvariablen lässt sich nicht bestimmen, da die unabhängigen Zufallsvariablen und der korrespondierende Spaltenvektor der Mischmatrix mit einer beliebigen Konstante so gewichtet werden können, dass sich die Skalierungen gegenseitig aufheben:

Zudem kann die Reihenfolge der Spaltenvektoren der Mischmatrix nicht rekonstruiert werden.

Problemlösung Bearbeiten

In der Regel wird davon ausgegangen, dass die gemischten Zufallsvariablen mittelwertfrei sind. Ist dies nicht der Fall, so kann dies durch Subtraktion des Mittelwerts erreicht werden.

Pre-Whitening Bearbeiten

Das Pre-Whitening ist eine lineare Transformation, welche der Vorverarbeitung dient. Dazu wird eine Hauptkomponentenanalyse (PCA) durchgeführt. Das Ergebnis sind die Eigenwerte und die Eigenvektoren der Kovarianzmatrix der gemischten Zufallsvariablen. Die Eigenvektoren bilden die Zeilen der Drehmatrix , welche mit dem Vektor multipliziert wird. Die Eigenwerte entsprechen der Varianz der jeweiligen Hauptkomponente. Die Kehrwerte ihrer Quadratwurzeln werden zur Bildung der Diagonalmatrix benutzt, so dass

mit

Durch das Multiplizieren mit der Diagonalmatrix wird die Varianz der Hauptkomponenten auf 1 normiert.

Bestimmung der unabhängigen Komponenten Bearbeiten

Durch das Pre-Whitening sind die Zufallsvariablen noch nicht stochastisch unabhängig, aber das Problem wurde auf die Suche nach einer orthogonalen Drehmatrix reduziert:

Für die Suche nach wird auf den Zentralen Grenzwertsatz zurückgegriffen. Dieser besagt, dass die Mischung normierter, zentrierter Zufallszahlen mit zunehmender Anzahl einer Normalverteilung ähnelt. Da die Zufallsvariablen in diese Voraussetzung erfüllen, muss es eine Drehmatrix geben, die möglichst nicht normalverteilte Zufallszahlen in erzeugt. Für die konkrete Umsetzung dieser Suche gibt es mehrere Lösungsansätze.

Kurtosis Bearbeiten

Die Kurtosis ist ein Maß für die Abweichung von einer Normalverteilung. Sie ist definiert durch

Da die Zufallsvariablen in ihrer Varianz normiert sind, wird gleich Eins. Die Kurtosis wird Null, wenn die Verteilung gauß-ähnlich ist. Ist die Kurtosis negativ, so ähnelt sie zunehmend einer Gleichverteilung. Ist sie positiv, so ist die Verteilung eher eine Laplace-Verteilung. Die Kurtosis muss demnach maximiert bzw. minimiert werden, um sich von einer Normalverteilung zu entfernen. Hierzu werden Gradientenverfahren verwendet, zum Beispiel in Anlehnung an die Lernregel von Oja.

Negentropie Bearbeiten

Ein weiterer Ansatz ist die Maximierung der Negentropie.

wobei die Entropie bezeichne und diejenige Normalverteilung sei, deren Erwartungswert und Varianz denen von entsprechen.

Da jedoch schwer zu bestimmen ist, verwendet man meist Näherungsformeln für die Negentropie.

Ein Beispiel hierfür ist die Berechnung über die – häufig empirisch bestimmte – Schiefe und Kurtosis der Verteilung vermöge:

Fast ICA Bearbeiten

Fast ICA ist ein Fixpunktalgorithmus, der das Problem über ein Newton-Verfahren löst.

Literatur Bearbeiten

Weblinks Bearbeiten

Einzelnachweise Bearbeiten

  1. Christian Jutten, Jeanny Herault: Blind Separation of Sources. Part 1: An Adaptive Algorithm Based on Neuromimetic Architecture. In: Signal Process. Band 24, Nr. 1, 1. August 1991, S. 1–10, doi:10.1016/0165-1684(91)90079-X.
  2. A. Hyvärinen, E. Oja: Independent component analysis: algorithms and applications. In: Neural Networks. Band 13, Nr. 4-5, 1. Juni 2016, S. 411–430, doi:10.1016/S0893-6080(00)00026-5.
wikipedia, wiki, deutsches, deutschland, buch, bücher, bibliothek artikel lesen, herunterladen kostenlos kostenloser herunterladen, MP3, Video, MP4, 3GP, JPG, JPEG, GIF, PNG, Bild, Musik, Lied, Film, Buch, Spiel, Spiele
Veröffentlichungsdatum:
Die Unabhangigkeitsanalyse bzw Independent Component Analysis ICA ist eine Methode der multivariaten Statistik Sie wurde 1991 veroffentlicht 1 und dient der Berechnung unabhangiger Komponenten in einer Mischung statistisch unabhangiger Zufallsvariablen Sie ist nahe verwandt mit dem Blind Source Separation Problem BSS Inhaltsverzeichnis 1 Problemstellung 2 Problemlosung 2 1 Pre Whitening 2 2 Bestimmung der unabhangigen Komponenten 2 2 1 Kurtosis 2 2 2 Negentropie 2 2 3 Fast ICA 3 Literatur 4 Weblinks 5 EinzelnachweiseProblemstellung BearbeitenEs wird davon ausgegangen dass der Vektor s displaystyle vec s nbsp aus n displaystyle n nbsp statistisch unabhangigen Zufallsvariablen besteht Damit die ICA angewendet werden kann darf maximal eine der Zufallsvariablen gauss verteilt sein Die Zufallsvariablen werden mit einer Mischmatrix A displaystyle A nbsp multipliziert Der Einfachheit halber wird davon ausgegangen dass diese Mischmatrix quadratisch ist Das Resultat sind gemischte Zufallsvariablen im Vektor x displaystyle vec x nbsp welcher die gleiche Dimension besitzt wie s displaystyle vec s nbsp x A s displaystyle vec x A vec s nbsp Das Ziel der ICA ist es die unabhangigen Zufallsvariablen im Vektor y displaystyle vec y nbsp moglichst originalgetreu zu rekonstruieren Hierfur steht nur das Ergebnis der Mischung x displaystyle vec x nbsp zur Verfugung und das Wissen dass die Zufallsvariablen ursprunglich stochastisch unabhangig waren Es ist eine geeignete Matrix B A 1 displaystyle B A 1 nbsp gesucht so dass y B x displaystyle vec y B vec x nbsp Da weder die Mischmatrix noch die unabhangigen Zufallsvariablen bekannt sind lassen sich diese nur mit Abstrichen rekonstruieren Die Varianz und damit die Energie der unabhangigen Zufallsvariablen lasst sich nicht bestimmen da die unabhangigen Zufallsvariablen s i displaystyle s i nbsp und der korrespondierende Spaltenvektor a i displaystyle vec a i nbsp der Mischmatrix mit einer beliebigen Konstante a i displaystyle alpha i nbsp so gewichtet werden konnen dass sich die Skalierungen gegenseitig aufheben X i 1 a i a i s i a i displaystyle vec X sum i left frac 1 alpha i vec a i right s i alpha i nbsp Zudem kann die Reihenfolge der Spaltenvektoren der Mischmatrix nicht rekonstruiert werden 2 Problemlosung BearbeitenIn der Regel wird davon ausgegangen dass die gemischten Zufallsvariablen mittelwertfrei sind Ist dies nicht der Fall so kann dies durch Subtraktion des Mittelwerts erreicht werden Pre Whitening Bearbeiten Das Pre Whitening ist eine lineare Transformation welche der Vorverarbeitung dient Dazu wird eine Hauptkomponentenanalyse PCA durchgefuhrt Das Ergebnis sind die Eigenwerte und die Eigenvektoren der Kovarianzmatrix der gemischten Zufallsvariablen Die Eigenvektoren bilden die Zeilen der Drehmatrix R displaystyle R nbsp welche mit dem Vektor x displaystyle vec x nbsp multipliziert wird Die Eigenwerte e i displaystyle e i nbsp entsprechen der Varianz der jeweiligen Hauptkomponente Die Kehrwerte ihrer Quadratwurzeln werden zur Bildung der Diagonalmatrix D displaystyle D nbsp benutzt so dass z D R x displaystyle vec z DR vec x nbsp mit D e 1 1 2 0 0 e n 1 2 displaystyle D begin pmatrix e 1 tfrac 1 2 amp amp amp 0 amp amp amp amp amp amp 0 amp amp amp e n tfrac 1 2 end pmatrix nbsp Durch das Multiplizieren mit der Diagonalmatrix wird die Varianz der Hauptkomponenten auf 1 normiert Bestimmung der unabhangigen Komponenten Bearbeiten Durch das Pre Whitening sind die Zufallsvariablen noch nicht stochastisch unabhangig aber das Problem wurde auf die Suche nach einer orthogonalen Drehmatrix U displaystyle U nbsp reduziert y U z displaystyle vec y U vec z nbsp Fur die Suche nach U displaystyle U nbsp wird auf den Zentralen Grenzwertsatz zuruckgegriffen Dieser besagt dass die Mischung normierter zentrierter Zufallszahlen mit zunehmender Anzahl einer Normalverteilung ahnelt Da die Zufallsvariablen in z displaystyle vec z nbsp diese Voraussetzung erfullen muss es eine Drehmatrix U displaystyle U nbsp geben die moglichst nicht normalverteilte Zufallszahlen in y displaystyle vec y nbsp erzeugt Fur die konkrete Umsetzung dieser Suche gibt es mehrere Losungsansatze Kurtosis Bearbeiten Die Kurtosis ist ein Mass fur die Abweichung von einer Normalverteilung Sie ist definiert durch kurt X E X 4 3 E X 2 2 E X 4 3 displaystyle operatorname kurt X E X 4 3E X 2 2 E X 4 3 nbsp Da die Zufallsvariablen in ihrer Varianz normiert sind wird E X 2 displaystyle E X 2 nbsp gleich Eins Die Kurtosis wird Null wenn die Verteilung gauss ahnlich ist Ist die Kurtosis negativ so ahnelt sie zunehmend einer Gleichverteilung Ist sie positiv so ist die Verteilung eher eine Laplace Verteilung Die Kurtosis muss demnach maximiert bzw minimiert werden um sich von einer Normalverteilung zu entfernen Hierzu werden Gradientenverfahren verwendet zum Beispiel in Anlehnung an die Lernregel von Oja Negentropie Bearbeiten Ein weiterer Ansatz ist die Maximierung der Negentropie J X H N m X s X 2 H X 0 displaystyle J X H mathcal N mu X sigma X 2 H X geq 0 nbsp wobei H displaystyle H nbsp die Entropie bezeichne und N m X s X 2 displaystyle mathcal N mu X sigma X 2 nbsp diejenige Normalverteilung sei deren Erwartungswert und Varianz denen von X displaystyle X nbsp entsprechen Da H X displaystyle H X nbsp jedoch schwer zu bestimmen ist verwendet man meist Naherungsformeln fur die Negentropie Ein Beispiel hierfur ist die Berechnung uber die haufig empirisch bestimmte Schiefe und Kurtosis der Verteilung X displaystyle X nbsp vermoge J X 1 12 skew X 2 1 48 kurt X 2 displaystyle J X approx frac 1 12 operatorname skew X 2 frac 1 48 operatorname kurt X 2 nbsp Fast ICA Bearbeiten Fast ICA ist ein Fixpunktalgorithmus der das Problem uber ein Newton Verfahren lost Literatur BearbeitenPierre Comon Independent Component Analysis a new concept In Signal Processing Vol 36 Nr 3 1994 S 287 314 doi 10 1016 0165 1684 94 90029 9 Weblinks BearbeitenFastICA Implementierungen fur Matlab R C und Python englisch Was ist Independent Component Analysis Universitatshomepage von A Hyvarinen englisch Einzelnachweise Bearbeiten Christian Jutten Jeanny Herault Blind Separation of Sources Part 1 An Adaptive Algorithm Based on Neuromimetic Architecture In Signal Process Band 24 Nr 1 1 August 1991 S 1 10 doi 10 1016 0165 1684 91 90079 X A Hyvarinen E Oja Independent component analysis algorithms and applications In Neural Networks Band 13 Nr 4 5 1 Juni 2016 S 411 430 doi 10 1016 S0893 6080 00 00026 5 Abgerufen von https de wikipedia org w index php title Unabhangigkeitsanalyse amp oldid 223463692