In der Informatik ist der Fuzzy-c-Means-Algorithmus, auch Algorithmus der c unscharfen Mittelwerte, ein unüberwachter Clustering-Algorithmus, der eine Erweiterung des k-Means-Clustering-Algorithmus ist. In einer generalisierten Form wurde er von Bezdek (1981) vorgestellt.
Grundidee Bearbeiten
Im c-Means-Clustering wird die Zahl der Cluster zunächst festgelegt (im k-Means-Clustering wird die Zahl der Cluster mit statt mit bezeichnet). Im ersten Schritt werden zufällig Clusterzentren (Kreise unten in der Grafik) festgelegt. Im zweiten Schritt wird jedes Objekt (Rechtecke unten in der Grafik) dem nächsten Clusterzentrum zugeordnet. Danach werden die (quadrierten) Abstände zwischen jedem Objekt und seinem zugeordneten Clusterzentrum berechnet und für alle Beobachtungen aufsummiert (). Das Ziel ist es, den Wert von so klein wie möglich zu machen, d. h. Positionen für die Clusterzentren zu finden, so dass der Abstand zwischen jedem Objekt und seinem zugehörigen Clusterzentrum klein ist. Im dritten Schritt werden daher die Clusterzentren aus den Objekten, die zu einem Cluster gehören, neu berechnet. Im vierten Schritt wird wieder jedem Objekt sein nächstes Clusterzentrum zugeordnet. Dieses Verfahren wird iteriert bis sich eine stabile Lösung findet. Wie die folgende Grafik zeigt, können Objekte im Verlauf des Iterationsprozesses durchaus verschiedenen Clustern zugeordnet werden; vergleiche die Grafik zu Schritt 2 und Schritt 4.
Der Nachteil des k-Means-Clustering ist, dass jedes Objekt in jedem Schritt eindeutig einem Clusterzentrum zugeordnet wird. Das führt dazu, dass die endgültige Lösung stark von der Wahl der Position der Clusterzentren am Anfang abhängen kann. Natürlich ist man an einer eindeutigen Lösung interessiert, möglichst unabhängig von der Position der Clusterzentren am Anfang.
Im Fuzzy-c-Means-Algorithmus wird daher jedes Objekt nicht eindeutig einem Clusterzentrum zugeordnet, sondern jedem Objekt wird ein Satz Gewichte zugeordnet, die angeben, wie stark die Zugehörigkeit zu einem bestimmten Cluster ist. Beispielsweise könnte für das rote Objekt in Schritt 2 die Gewichte
- für den blauen Cluster
- für den grünen Cluster und
- für den roten Cluster sein.
Diese Gewichte werden dann auch benutzt um den gewichteten Abstand zu allen Clusterzentren zu berechnen. Am Ende werden dann Objekte, die nahe einem bestimmten Clusterzentrum liegen, große Gewichte für diesen Cluster haben. Das blaue Objekt nahe dem blauen Clusterzentrum in Schritt 4 könnte z. B. die Gewichte , und haben. Die beiden blauen Objekte nahe der Grenze zum grünen Cluster könnten dann z. B. die Gewichte , und haben.
Die Gewichte für jedes Objekt stellen sogenannte Fuzzy-Zahlen dar. Die Gewichte müssen sich auch nicht für jedes Objekt zu Eins addieren (wie es in diesem Abschnitt zum besseren Verständnis gemacht wurde). Aus der Ableitung vom k-Means-Clustering stammt auch der Name Fuzzy-c-Means.
Mathematische Beschreibung des Algorithmus Bearbeiten
Der Begriff fuzzy beschreibt dabei eine Methode der Clusteranalyse, die es erlaubt, ein Objekt mehr als nur einem Cluster zuzuordnen. Ermöglicht wird dies dadurch, dass ein Grad der Zugehörigkeit (membership degree) des Objekts zu jedem Cluster verwendet wird. Jedes liegt dabei im Intervall [0, 1]. Je größer , desto stärker ist die Zugehörigkeit von zu .
Die Zielfunktion des Fuzzy-c-Means-Algorithmus lautet:
Dabei gibt die quadrierten (euklidischen) Distanzen zwischen den Punkten und den Clusterzentren (Prototypen) aus der Matrix V an. Die Partitionsmatrix U gibt die membership degrees wieder. C ist die Anzahl an Clustern und N die Größe des Datensatzes. Der „fuzzifier“ m(>1) bestimmt, wie scharf die Objekte den Clustern zugeordnet werden. Lässt man m gegen unendlich laufen, so nähern sich die dem Wert an, d. h. die Zugehörigkeit der Punkte ist zu allen Clustern gleich groß. Liegt m nahe bei 1, so ist das Clustering scharf, d. h. die Zugehörigkeiten liegen näher bei 0 oder 1. In der Praxis haben sich für m Werte zwischen 1 und 2,5 als geeignet herausgestellt (vgl. Stutz (1999)). Die Werte und werden durch Minimierung der Zielfunktion J bestimmt. Die Objekte werden den Clustern also so zugeordnet, dass die Summe der quadrierten Abstände minimal wird. Die Optimierung findet unter Nebenbedingungen statt:
- Für jeden Punkt ist die Summe der Zugehörigkeiten zu allen Clustern gleich 1, d. h. für alle gilt ,
- Die Cluster sind nicht-leer, d. h. für alle gilt .
Zur Lösung des Minimierungs-Problems wird das Lagrangeverfahren angewandt. Die Lagrangefunktion
wird nach u,v, und abgeleitet. Als Lösung ergibt sich:
und
Der Algorithmus besteht dann aus den folgenden Schritten:
- Initialisiere eine Start-Partitionsmatrix
- Berechne die Prototypen im Iterationsschritt r
- Berechne die Partitionsmatrix im Iterationsschritt r
- Falls dann Stopp. Sonst zurück zu Schritt 2
Dabei gibt einen kleinen Schwellenwert an.
Beispiel Bearbeiten
Der Schweizer Banknoten-Datensatz besteht aus 100 echten und 100 gefälschten Schweizer 1000-Franken-Banknoten. An jeder Banknote wurden sechs Variablen erhoben:
- Die Breite der Banknote (WIDTH),
- die Höhe an der Banknote an der linken Seite (LEFT),
- die Höhe an der Banknote an der rechten Seite (RIGHT),
- der Abstand des farbigen Drucks zur Oberkante der Banknote (UPPER),
- der Abstand des farbigen Drucks zur Unterkante der Banknote (LOWER) und
- die Diagonale (links unten nach rechts oben) des farbigen Drucks auf der Banknote (DIAGONAL).
Die beiden Grafiken unten zeigen das Ergebnis der k-Means-Clusteranalyse (links) und der Fuzzy-c-Means-Clusteranalyse (rechts) auf den ersten beiden Hauptkomponenten der Schweizer Banknoten Daten. Die beiden Clusterzentren sind in beiden Grafiken jeweils mit dem Kreuz im Kreis markiert. Der kompakte Cluster rechts enthält die echten Banknoten und der Rest sind die gefälschten Banknoten.
Literatur Bearbeiten
- Christiane Stutz: Anwendungsspezifische Fuzzy-Clustermethoden (Dissertation zur künstlichen Intelligenz, TU München). Infix, Sankt Augustin 1999.
Weblinks Bearbeiten
- A Tutorial on Clustering Algorithms. Online Tutorial mit interaktivem Demo für den Fuzzy C-Means Algorithmus.
- Fuzzy C-means cluster analysis. Scholarpedia (englisch)
Einzelnachweise Bearbeiten
- J.C. Bezdek: Pattern recognition with fuzzy objective function algorithms. Plenum Press, New York 1981.
- Bernhard Flury, Hans Riedwyl: Multivariate Statistics: A Practical Approach. 1. Auflage. Chapman & Hall, London 1988, ISBN 978-0-412-30030-1.