Stochastisches Lernen ist eine Lernstrategie in künstlichen neuronalen Netzen, die auf einer zufälligen Suche im Gewichtsraum beruhen. Mit Lernen ist dabei die Anpassung von Modellparametern gemeint, sodass eine Zielfunktion optimiert wird.
Ein Lernalgorithmus versucht, eine Hypothese zu finden, die möglichst zielsichere Voraussagen trifft. Unter Hypothese ist dabei eine Abbildung zu verstehen, die jedem Eingabewert den vermuteten Ausgabewert zuordnet. Dazu verändert der Algorithmus die freien Parameter der gewählten Hypothesenklasse. Oft wird als Hypothesenklasse die Menge aller Hypothesen, die durch ein bestimmtes künstliches neuronales Netzwerk modelliert werden kann, verwendet. In diesem Fall sind die frei wählbaren Parameter die Gewichte w der Neuronen.
Das Ziel des Stochastischen Lernens ist es, mit Hilfe einer zufälligen Suche die Gewichte w des Netzes und einer zuvor gewählten Verlustfunktion (Statistik), das empirische Risiko zu minimieren: E(w) soll minimal sein. Solche Verfahren sind auch dann anwendbar, wenn die Gewichte auf diskrete Werte beschränkt sind, oder wenn die Aktivierungsfunktion nicht differenzierbar ist.
Für das Stochastische Lernen existieren folgen Implementierungsoptionen:
- Iterative Improvement
- Simulated Annealing
Beim letzteren Verfahren werden die neuen Gewichte auch mit einer vorgegebenen Wahrscheinlichkeit p akzeptiert, wenn sie keine Verringerung des Fehlers gegenüber den vorhergehenden Gewichten erreicht haben.