www.wikidata.de-de.nina.az

Resilient Propagation Resilient Backpropagation Rprop bzw elastische Fortpflanzung ist ein iteratives Verfahren zur Best

Resilient Propagation

Resilient Backpropagation (Rprop) bzw. elastische Fortpflanzung ist ein iteratives Verfahren zur Bestimmung des Minimums der Fehlerfunktion in einem neuronalen Netz. Der Algorithmus wird manchmal der Gruppe Lernverfahren zweiter Ordnung zugerechnet, da in die Bestimmung der aktuellen Gewichtsänderung die letzte Gewichtsänderung mit einbezogen wird. Das Gewicht wird hierbei nur nach dem Vorzeichen des Gradienten geändert. Mit einem gewichtsindividuellen Parameter wird die Schrittweite bestimmt. Die Gewichtsänderung wird in zwei Schritten durchgeführt. Erster Schritt: Für jedes Gewicht wird der Änderungsparameter für die k-te Iteration wie folgt bestimmt:

mit

Schrittweite und maximale Schrittweite für einen Vorwärtsschritt bzw. einen Rückwärtsschritt werden mit den Parametern festgelegt. Gute Werte für die Parameter sind:

Im zweiten Schritt wird die Änderung der Gewichte der k-ten Iteration bestimmt:

mit

Dabei ist das Gewicht des Neurons j für den Eingang i und E die Summe der Fehler.

Der Rprop-Algorithmus konvergiert im Allgemeinen schneller als die Fehlerrückführung (engl. backpropagation), jedoch kann es aufgrund der Unstetigkeitsstelle am Minimum der lokalen Approximation zum Überspringen des Extremums kommen.

Die Veröffentlichung erfolgte 1992 durch Martin Riedmiller und Heinrich Braun in ihrer Arbeit „Rprop - A Fast Adaptive Learning Algorithm“ vorgestellt.

Christian Igel und Michael Hüsken schlugen 2003 eine leichte Modifikation des Algorithmus vor, die eine Stabilität und Geschwindigkeit erhöht. Durch weitere von Aristoklis D. Anastasiadis et al. (2005) beschriebenen Veränderungen kann die globale Konvergenz des Verfahrens bewiesen werden.

Literatur Bearbeiten

  • M. Riedmiller und H. Braun: Rprop - A Fast Adaptive Learning Algorithm. Proceedings of the International Symposium on Computer and Information Science VII, 1992
  • M. Riedmiller und H. Braun: A direct adaptive method for faster backpropagation learning: The Rprop algorithm. Proceedings of the IEEE International Conference on Neural Networks, 586–591, IEEE Press, 1993
  • M. Riedmiller: Advanced supervised learning in multi-layer perceptrons - From backpropagation to adaptive learning algorithms. Computer Standards and Interfaces 16(5), 265–278, 1994
  • C. Igel und M. Hüsken: Empirical Evaluation of the Improved Rprop Learning. Neurocomputing 50, 105–123, 2003
  • A. D. Anastasiadis, G. D. Magoulas und M. N. Vrahatis: New globally convergent training scheme based on the resilient propagation algorithm. Neurocomputing 64, 253–270, 2005

Weblinks Bearbeiten

wikipedia, wiki, deutsches, deutschland, buch, bücher, bibliothek artikel lesen, herunterladen kostenlos kostenloser herunterladen, MP3, Video, MP4, 3GP, JPG, JPEG, GIF, PNG, Bild, Musik, Lied, Film, Buch, Spiel, Spiele
Veröffentlichungsdatum:
Resilient Backpropagation Rprop bzw elastische Fortpflanzung ist ein iteratives Verfahren zur Bestimmung des Minimums der Fehlerfunktion in einem neuronalen Netz Der Algorithmus wird manchmal der Gruppe Lernverfahren zweiter Ordnung zugerechnet da in die Bestimmung der aktuellen Gewichtsanderung die letzte Gewichtsanderung mit einbezogen wird Das Gewicht wird hierbei nur nach dem Vorzeichen des Gradienten geandert Mit einem gewichtsindividuellen Parameter g displaystyle gamma wird die Schrittweite bestimmt Die Gewichtsanderung wird in zwei Schritten durchgefuhrt Erster Schritt Fur jedes Gewicht wird der Anderungsparameter g displaystyle gamma fur die k te Iteration wie folgt bestimmt g i j k 1 min g i j k h g m a x falls i j E k i j E k 1 gt 0 max g i j k h g m i n falls i j E k i j E k 1 lt 0 g i j k sonst displaystyle gamma ij k 1 begin cases min left gamma ij k cdot eta gamma mathrm max right amp text falls nabla ij E k cdot nabla ij E k 1 gt 0 max left gamma ij k cdot eta gamma mathrm min right amp text falls nabla ij E k cdot nabla ij E k 1 lt 0 gamma ij k amp text sonst end cases mit 0 lt h lt 1 lt h displaystyle 0 lt eta lt 1 lt eta Schrittweite und maximale Schrittweite fur einen Vorwartsschritt bzw einen Ruckwartsschritt werden mit den Parametern h h g m i n g m a x displaystyle eta eta gamma mathrm min gamma mathrm max festgelegt Gute Werte fur die Parameter sind h 1 2 h 0 5 g m a x 50 g m i n 10 6 displaystyle eta 1 2 eta 0 5 gamma mathrm max 50 gamma mathrm min 10 6 Im zweiten Schritt wird die Anderung der Gewichte der k ten Iteration bestimmt w i j k 1 w i j k D w i j k displaystyle w ij k 1 w ij k Delta w ij k mit D w i j k g i j k sgn i j E k displaystyle Delta w ij k gamma ij k operatorname sgn left nabla ij E k right Dabei ist w i j displaystyle w ij das Gewicht des Neurons j fur den Eingang i und E die Summe der Fehler Der Rprop Algorithmus konvergiert im Allgemeinen schneller als die Fehlerruckfuhrung engl backpropagation jedoch kann es aufgrund der Unstetigkeitsstelle am Minimum der lokalen Approximation zum Uberspringen des Extremums kommen Die Veroffentlichung erfolgte 1992 durch Martin Riedmiller und Heinrich Braun in ihrer Arbeit Rprop A Fast Adaptive Learning Algorithm vorgestellt Christian Igel und Michael Husken schlugen 2003 eine leichte Modifikation des Algorithmus vor die eine Stabilitat und Geschwindigkeit erhoht Durch weitere von Aristoklis D Anastasiadis et al 2005 beschriebenen Veranderungen kann die globale Konvergenz des Verfahrens bewiesen werden Literatur BearbeitenM Riedmiller und H Braun Rprop A Fast Adaptive Learning Algorithm Proceedings of the International Symposium on Computer and Information Science VII 1992 M Riedmiller und H Braun A direct adaptive method for faster backpropagation learning The Rprop algorithm Proceedings of the IEEE International Conference on Neural Networks 586 591 IEEE Press 1993 M Riedmiller Advanced supervised learning in multi layer perceptrons From backpropagation to adaptive learning algorithms Computer Standards and Interfaces 16 5 265 278 1994 C Igel und M Husken Empirical Evaluation of the Improved Rprop Learning Neurocomputing 50 105 123 2003 A D Anastasiadis G D Magoulas und M N Vrahatis New globally convergent training scheme based on the resilient propagation algorithm Neurocomputing 64 253 270 2005Weblinks BearbeitenRprop Optimization Toolbox Rprop training for Neural Networks in MATLAB Abgerufen von https de wikipedia org w index php title Resilient Propagation amp oldid 234318901