www.wikidata.de-de.nina.az
In der Mathematik ist die nichtlineare Optimierung auch nichtlineares Programm NLP genannt das Vorhaben eine skalare Zielfunktion einer oder mehrerer reeller Variablen in einem eingeschrankten Bereich zu optimieren wobei die Zielfunktion oder die Bereichsgrenzen nicht linear affin sind Es ist ein Teilgebiet der mathematischen Optimierung und ein Obergebiet der konvexen Optimierung In Abgrenzung von den genannten Begriffen wird hier die Anwendung auf differenzierbare nichtlineare Zielfunktionen ohne Beschrankung auf Konvexitat der Zielfunktion oder des Suchbereiches beschrieben Im Abschnitt Begriffe Zielfunktion Nebenbedingungen zulassige Menge lokale und globale Optimierung finden sich wesentliche Erklarungen Nichtlineares Programm mit zulassigem Bereich und Optimum Inhaltsverzeichnis 1 Anwendungsfelder 2 Problemdefinition 3 Vorgehen 4 Theorie der Optimierung 4 1 Isolierte Punkte 4 2 Regularitats Bedingungen Tangenten und Linearisierender Kegel 4 3 Pathologische Falle 5 Optimalitatsbedingungen 5 1 Notwendige Bedingung 5 1 1 Karush Kuhn Tucker Bedingungen 5 1 2 Fritz John Bedingungen 5 2 Hinreichende Bedingungen 5 3 Satze zu den Naherungsverfahren 6 Beispiel 6 1 Eliminierung der Freiheitsgrade 6 2 Lagrange Multiplikator 6 3 Barrierefunktion 6 4 Strafverfahren 6 5 Erweiterte oder verallgemeinerte Lagrange Methode 7 Literatur 8 WeblinksAnwendungsfelder BearbeitenNichtlineare Programme finden sich in vielfaltiger Weise in der Wissenschaft und im Ingenieurwesen In der Wirtschaftswissenschaft kann es darum gehen die Kosten eines Prozesses zu minimieren der Einschrankungen in der Verfugbarkeit der Mittel und Kapazitaten unterliegt Die Kostenfunktion kann darin nichtlinear sein In der theoretischen Mechanik findet sich im Hamiltonschen Prinzip ein Extremalprinzip dessen Losung bei nichtlinearen Randbedingungen ein nichtlineares Programm darstellt Moderne Ingenieuranwendungen beinhalten oft und in komplizierter Weise Optimierungsaufgaben So kann es darum gehen das Gewicht eines Bauteils zu minimieren das gleichzeitig bestimmten Anforderungen z B Einschrankungen des Bauraumes Obergrenzen fur Verformungen bei gegebenen Lasten genugen muss Bei der Anwendung eines mathematischen Modells kann es darum gehen die Parameter des Modells an gemessene Werte anzupassen Nichtlineare Einflusse der Parameter und Einschrankungen an die Parameter z B dass nur positive Werte zugelassen sind fuhren hier auf ein nichtlineares Programm In diesen Fragestellungen ist oftmals nicht a priori bekannt ob das gestellte Problem konvex ist oder nicht Manchmal beobachtet man eine Abhangigkeit der gefundenen optimalen Losung vom Startpunkt der Suche Dann hat man lokale Optima gefunden und das Problem ist mit Sicherheit nicht konvex Problemdefinition BearbeitenEs gibt viele mogliche Formulierungen eines nicht linearen Programms An dieser Stelle soll eine moglichst allgemeine Form gewahlt werden Der Eingabeparameter x displaystyle vec x nbsp sei aus dem R n displaystyle mathbb R n nbsp das heisst das Problem hangt von n displaystyle n nbsp Einflussparametern ab die im Vektor x displaystyle vec x nbsp eingelagert sind Die Zielfunktion f D R displaystyle f colon D to mathbb R nbsp sei einmal stetig differenzierbar Weiterhin seien die Nebenbedingungen NB in Ungleichheitsform g i D R displaystyle g i colon D to mathbb R nbsp mit 1 i m displaystyle 1 leq i leq m nbsp und in Gleichheitsform h k D R displaystyle h k colon D to mathbb R nbsp mit 1 k l displaystyle 1 leq k leq l nbsp gegeben und einmal stetig differenzierbar Dann lautet das Problem P displaystyle P nbsp mathematisch P f x e x t r e m u m f x S D R n R S x D g i x 0 fur 1 i m h k x 0 fur 1 k l displaystyle begin array llll P amp f vec x amp amp to mathrm extremum f amp vec x in S subset amp D subseteq mathbb R n amp to mathbb R S amp vec x in D amp g i vec x leq 0 amp text fur 1 leq i leq m amp amp h k vec x 0 amp text fur 1 leq k leq l end array nbsp Der zulassige Bereich S displaystyle S nbsp wird von den Nebenbedingungen NB eingeschrankt Fur alle Werte der Parameter aus dem zulassigen Bereich x S displaystyle vec x in S nbsp sollen die NB erfullt sein Zulassig ist das Problem P displaystyle P nbsp wenn der zulassige Bereich S displaystyle S nbsp nicht leer ist Zumeist beschrankt sich die theoretische Behandlung der nicht linearen Optimierung auf Minimierungsprobleme In der Tat kann das Maximierungsproblem einer Funktion f displaystyle f nbsp in ein Minimierungsproblem von f displaystyle f nbsp oder 1 f displaystyle 1 f nbsp falls f gt 0 displaystyle f gt 0 nbsp gesichert ist umformuliert werden Vorgehen BearbeitenDas Problem wird mit den unten beschriebenen Verfahren auf die Optimierung einer Hilfsfunktion ohne NB zuruckgefuhrt Um sich die gradientenbasierten Methoden zu Nutze machen zu konnen teilt man das abzusuchende Gebiet gegebenenfalls in solche auf in denen die Zielfunktion differenzierbar ist Wenn moglich sollten die Teilgebiete konvex sein und die Zielfunktion in ihnen auch Dann kann man die globalen Extrema in den Teilgebieten mit den in Mathematische Optimierung und Konvexe Optimierung aufgefuhrten Verfahren berechnen und das optimale auswahlen Die Konstruktion der Hilfsfunktion soll anhand eines Beispiels erlautert werden Zwei Kugeln in einer Mulde versuchen den tiefstmoglichen Punkt einzunehmen durfen sich dabei aber nicht durchdringen Die Zielfunktion ist also die Lageenergie der Kugeln und nimmt im Gleichgewicht ein Minimum an Die Nebenbedingung g x y 0 displaystyle g x y leq 0 nbsp wurde hier die Durchdringung der Kugeln x displaystyle x nbsp und y displaystyle y nbsp bezeichnen wobei mit negativer Durchdringung ein positiver Abstand gemeint wird Lagrange Multiplikatoren Die NB werden mit reellen Faktoren den Lagrange Multiplikatoren multipliziert und in die Zielfunktion eingebaut so dass bei positiven Lagrange Multiplikatoren die Verletzung der NB bestraft wird Die so erhaltene Hilfsfunktion heisst Lagrange Funktion Die Lagrange Multiplikatoren werden als Unbekannte in das Problem eingefuhrt und mussen ebenfalls bestimmt werden Bei den Kugeln sind die Lagrange Multiplikatoren gerade die Kontaktkrafte die die Kugeln bei Beruhrung aufeinander ausuben so dass sie sich nicht durchdringen Barrierefunktionen Die NB werden mit Barrierefunktionen dargestellt die bei Annaherung an die Grenze des Definitionsbereiches positive Werte annehmen und auf der Grenze ins Unendliche wachsen Die Barrierefunktionen werden mit Barriereparametern r displaystyle r nbsp multipliziert und in die Zielfunktion eingebaut so dass die Annaherung an die Grenze bestraft wird und so die Verletzung der NB verhindert wird Im Kugelbild bekamen die Kugeln einen mehr oder weniger dicken Mantel der immer steifer wird je starker er bei Beruhrung zusammengedruckt wird Eine Verletzung der NB wird so verhindert zu dem Preis dass bereits die Annaherung an die Bereichsgrenze bestraft wird Die Methode wird bei Innere Punkte Verfahren angewendet Straffunktionen Die Straffunktionen werden wie die Barrierefunktionen eingesetzt Die NB werden mit Straffunktionen dargestellt die im zulassigen Bereich verschwinden und bei Verletzung der NB positiv sind Die Straffunktionen werden mit Strafparametern r displaystyle r nbsp multipliziert und in die Zielfunktion eingebaut so dass die Verletzung der NB bestraft wird daher der Name Hier werden aktive NB evtl verletzt und die Zulassigkeit der Losung muss gepruft werden Im Kugel Bild entspricht die Straffunktion der echten Durchdringung die bei positivem Abstand der Kugeln verschwindet und der Strafparameter einer Federsteifigkeit Die Feder versucht eindringende Punkte wieder an die Oberflache zu ziehen Je steifer die Feder ausfallt desto geringer wird die Eindringung sein Erweiterte Lagrange Methode englisch augmented Lagrange method Dies ist eine Kombination der Lagrange Multiplikatoren und der Strafmethode Der Lagrange Multiplikator wird iterativ anhand der Verletzung der NB bestimmt Trivial und deshalb in den Quellen oftmals nicht behandelt aber doch zu erwahnen und im praktischen Gebrauch ist dass aktive NB dazu genutzt werden konnen Variable zu eliminieren Die Variablen werden auf Werte festgelegt derart dass eine Verletzung der NB nunmehr unmoglich ist Im Kugel Bild wurde man Beruhrungspunkte der Kugeln aneinanderkoppeln ihre Koordinaten gleichsetzen so dass eine Durchdringung dort nicht mehr stattfinden kann Die Vor und Nachteile der beschriebenen Methoden sind in der Tabelle zusammengefasst Methode Vorteile NachteileLagrange Multiplikatoren Erfullt die NB exakt Das Vorzeichen des Multiplikators zeigt an ob die NB aktiv ist oder nicht Fuhrt zusatzliche Unbekannte ein Schleust verschwindende Diagonalglieder in das Gleichungssystem ein problematisch bei Cholesky Zerlegung Barrierefunktionen Die NB werden eingehalten Fur r 0 displaystyle r to 0 nbsp geht die gefundene Losung in die mit Lagrange Multiplikatoren gefundene uber Die Hohenlinien der Hilfsfunktion stimmen nicht mit denen der Zielfunktion uberein Im Extremfall gibt es fur einige Werte von r displaystyle r nbsp gar kein Optimum Bei Annaherung an die Grenze des zulassigen Bereiches und mit r 0 displaystyle r to 0 nbsp ist die Hesse Matrix schlecht konditioniert Strafverfahren Fur r displaystyle r to infty nbsp geht die gefundene Losung in die mit Lagrange Multiplikatoren gefundene uber Die Nebenbedingung wird nur naherungsweise erfullt Mit r displaystyle r to infty nbsp ist die Hesse Matrix schlecht konditioniert Die Prufung der Aktivitat der NB kann nur durch Auswertung der Funktionen g i displaystyle g i nbsp und h k displaystyle h k nbsp erfolgen Erweiterte Lagrange Methode Mit zunehmender Anzahl an Iterationen geht die gefundene Losung in die mit Lagrange Multiplikatoren gefundene uber Erfullt die NB beliebig genau Das Vorzeichen des Multiplikators zeigt an ob die Nebenbedingung aktiv ist oder nicht Benotigt mehrere konvergierte Losungen des globalen Problems Eliminierung der Freiheitsgrade Reduziert die Anzahl an Unbekannten Halt Gleichheitsnebenbedingungen exakt ein Ist nur anwendbar wenn die Aktivitat der NB bekannt ist Theorie der Optimierung BearbeitenIsolierte Punkte Bearbeiten In einem nicht linearen Programm konnen NB den zulassigen Bereich in einigen Punkten x displaystyle vec x nbsp derart einschranken dass zwar x displaystyle vec x nbsp aber kein Punkt in seiner Umgebung U e x displaystyle U varepsilon vec x nbsp im zulassigen Bereich liegt Mathematisch formuliert heisst das dass es eine Umgebung U e x displaystyle U varepsilon vec x nbsp gibt so dass U e x S x displaystyle U varepsilon vec x cap S lbrace vec x rbrace nbsp gilt Isolierte Punkte mussen alle einzeln jeder fur sich auf Optimalitat gepruft werden Regularitats Bedingungen Tangenten und Linearisierender Kegel Bearbeiten nbsp Beispiel eines Nicht Linearen ProgrammsFur die Formulierung von Optimalitatsbedingungen mussen die NB gewisse Anforderungen erfullen engl constraint qualifications CQ Unter anderem geht es darum optimale Punkte aus der Betrachtung auszuschliessen die isoliert sind oder in denen es redundante NB gibt Es existieren mehrere unterschiedlich scharfe Formulierungen welche die Erfullung dieser CQ sicherstellen Punkte in denen die Anforderungen erfullt sind heissen regular Irregulare Punkte in denen keine dieser Anforderungen greift mussen ausgeschlossen oder gesondert betrachtet werden Zentral fur die Formulierung der Anforderungen an die NB und der Optimalitatsbedingungen ist der Begriff Tangentenkegel T S x displaystyle T S vec x nbsp und Linearisierender Kegel Um sich diese anschaulich klarzumachen stellt man sich an einen Punkt x 0 x displaystyle vec x 0 neq vec x nbsp im zulassigen Gebiet und lauft unter Beachtung der NB die NB kann man sich als undurchdringliche Wande vorstellen zum Zielpunkt x displaystyle vec x nbsp Der Tangentenkegel ist dann die Menge aller moglichen Richtungen aus denen man im Zielpunkt x displaystyle vec x nbsp ankommen kann Beim linearisierenden Kegel werden zunachst die NB linearisiert d h durch ihre Tangenten im Zielpunkt x displaystyle vec x nbsp ersetzt Der linearisierende Kegel ist dann die Menge aller moglichen Richtungen aus denen man unter Beachtung der linearisierten NB im Zielpunkt x displaystyle vec x nbsp ankommen kann Der Tangentenkegel und Linearisierende Kegel unterscheiden sich dort wo zwei Wande am Standort parallel verlaufen und der Zielpunkt x displaystyle vec x nbsp sozusagen in einem Gang der Breite 0 liegt Im linearisierenden Kegel kann man dann aus beiden Richtungen des Gangs ankommen er linearisierte ja die Wande Wenn die zunachst parallelen Wande in einer Richtung unmittelbar ihre Parallelitat verlieren und den Gang zumachen so dass kein noch so kleiner Schritt in diese Richtung moglich ist kann man im Tangentenkegel nur aus der offenen Richtung in x displaystyle vec x nbsp ankommen Das ist der Unterschied siehe den ersten pathologischen Fall unten In der Grafik stimmen Tangentenkegel und Linearisierender Kegel im optimalen Punkt uberein und sind rot angedeutet Die Anforderungen an die NB stellen sicher dass im optimalen Punkt der Tangentenkegel und der linearisierende Kegel ubereinstimmen und der optimale Punkt nicht isoliert ist Die Ubereinstimmung von linearisierenden Kegel und Tangentialkegel wird manchmal auch als eigene Regularitatsbedingung aufgefuhrt und Abadie Constraint Qualification genannt Beispiele fur Regularitatsbedingungen sind Slater Bedingung nur fur konvexe Probleme Es gibt einen Punkt x S displaystyle tilde x in S nbsp so dass g i x lt 0 displaystyle g i tilde x lt 0 nbsp fur alle 1 i m displaystyle 1 leq i leq m nbsp und alle Gleichungsnebenbedingungen in x displaystyle tilde x nbsp erfullt sind An dieser Stelle sei erwahnt dass die Constraint Qualification von Slater im Allgemeinen als die Wichtigste angesehen wird Lineare Unabhangigkeit linear independence constraint qualification LICQ Die Gradienten der aktiven Ungleichungsbedingungen und die Gradienten der Gleichungsbedingungen sind linear unabhangig im Punkt x displaystyle hat x nbsp Mangasarian Fromovitz Mangasarian Fromovitz constraint qualification MFCQ Die Gradienten der aktiven Ungleichungsbedingungen und die Gradienten der Gleichungsbedingungen sind positiv linear unabhangig im Punkt x displaystyle hat x nbsp Konstanter Rang constant rank constraint qualification CRCQ Fur jede Untermenge der Gradienten der Ungleichungsbedingungen welche aktiv sind und der Gradienten der Gleichungsbedingungen ist der Rang in der Nahe von x displaystyle hat x nbsp konstant Konstante positive lineare Abhangigkeit constant positive linear dependence constraint qualification CPLD Fur jede Untermenge der Gradienten der Ungleichungsbedingungen welche aktiv sind und der Gradienten der Gleichungsbedingungen und falls eine positive lineare Abhangigkeit im Punkt x displaystyle hat x nbsp vorliegt dann gibt es eine positiv lineare Abhangigkeit in der Nahe von x displaystyle hat x nbsp Man kann zeigen dass die folgenden beiden Folgerungsstrange gelten LICQ MFCQ CPLD displaystyle mbox LICQ Rightarrow mbox MFCQ Rightarrow mbox CPLD nbsp und LICQ CRCQ CPLD displaystyle mbox LICQ Rightarrow mbox CRCQ Rightarrow mbox CPLD nbsp obwohl MFCQ nicht aquivalent zu CRCQ ist In der Praxis werden schwachere Constraint Qualifications bevorzugt da diese starkere Optimalitats Bedingungen liefern Pathologische Falle Bearbeiten Die CQ sind dazu da Zustande wie im Ursprung in folgenden Beispielen von der Betrachtung auszuschliessen Minimiere f x y x displaystyle f x y x nbsp unter den NB g 1 x y y 0 displaystyle g 1 x y y leq 0 nbsp und g 2 x y y x 3 0 displaystyle g 2 x y y x 3 leq 0 nbsp Minimiere f x x R displaystyle f x x in mathbb R nbsp unter der NB g x x 2 0 displaystyle g x x 2 leq 0 nbsp Minimiere f x x f a l l s x 0 s o n s t displaystyle f x left begin array lll sqrt x amp mathrm falls amp x geq 0 infty amp mathrm sonst amp end array right nbsp unter der NB g x x 0 displaystyle g x x leq 0 nbsp Optimalitatsbedingungen BearbeitenNotwendige Bedingung Bearbeiten Karush Kuhn Tucker Bedingungen Bearbeiten Hauptartikel Karush Kuhn Tucker Bedingungen Die Karush Kuhn Tucker Bedingungen sind ein notwendiges Optimalitatskriterium erster Ordnung und eine Verallgemeinerung der notwendigen Bedingung f x 0 displaystyle nabla f vec x vec 0 nbsp von Optimierungsproblemen ohne Nebenbedingungen sowie der Lagrange Multiplikatoren fur Optimierungsprobleme unter Gleichungsnebenbedingungen In Worten bedeutet der Satz von Karush Kuhn Tucker ungefahr dass wenn x displaystyle bar x nbsp ein zulassiger regularer und optimaler Punkt ist sich der Gradient der Zielfunktion f x displaystyle nabla f bar x nbsp als positive Linearkombination der Gradienten der aktiven NB darstellen lasst siehe auch das Bild oben Sei f D R displaystyle f D rightarrow mathbb R nbsp die Zielfunktion und die Funktionen g i D R displaystyle g i D rightarrow mathbb R nbsp mit 1 i m displaystyle 1 leq i leq m nbsp und die Funktionen h k D R displaystyle h k D rightarrow mathbb R nbsp mit 1 k l displaystyle 1 leq k leq l nbsp sind Nebenbedingungs Funktionen Alle vorkommenden Funktionen f g i h k displaystyle f g i h k nbsp seien einmal stetig differenzierbar Es sei x S displaystyle bar x in S nbsp ein regularer Punkt das heisst eine der Regularitatsanforderung CQ von oben ist erfullt Falls x displaystyle bar x nbsp ein lokales Optimum ist dann existieren Konstanten m i displaystyle mu i nbsp und n k displaystyle nu k nbsp so dass f x i 1 m m i g i x k 1 l n k h k x 0 displaystyle nabla f bar x pm sum i 1 m mu i nabla g i bar x sum k 1 l nu k nabla h k bar x 0 nbsp bei Minimierung bei Maximierung g i x 0 m i 0 m i g i x 0 displaystyle g i bar x leq 0 mu i geq 0 mu i g i bar x 0 nbsp fur alle 1 i m displaystyle 1 leq i leq m nbsp h k x 0 displaystyle h k bar x 0 nbsp fur alle 1 k l displaystyle 1 leq k leq l nbsp Jeder Punkt in dem diese Bedingungen erfullt sind heisst Karush Kuhn Tucker Punkt kurz KKT Punkt Ist x displaystyle bar x nbsp ein Punkt des zulassigen Gebietes in dem keine NB aktiv sind insbesondere keine Gleichheitsnebenbedingungen h k x 0 displaystyle h k x 0 nbsp vorliegen dann sind wegen g i x lt 0 displaystyle g i bar x lt 0 nbsp alle m i 0 displaystyle mu i 0 nbsp und die obigen Bedingungen reduzieren sich auf die bekannte notwendige Bedingung unrestringierter Probleme f x 0 displaystyle nabla f bar x vec 0 nbsp Fritz John Bedingungen Bearbeiten Hauptartikel Fritz John Bedingungen Die Fritz John Bedingungen oder kurz FJ Bedingungen sind genau wie die KKT Bedingungen ein Optimalitatskriterium erster Ordnung Im Gegensatz zu den KKT Bedingungen kommen sie ohne Regularitatsbedingungen aus liefern aber eine schwachere Aussage Unter Umstanden stimmen sie mit den KKT Bedingungen uberein Ist x displaystyle bar x nbsp ein zulassiger Punkt der lokal Optimal ist dann existieren m i n k z displaystyle mu i nu k bar z nbsp so dass z f x i 1 m m i g i x k 1 l n k h k x 0 displaystyle bar z nabla f bar x pm sum i 1 m mu i nabla g i bar x sum k 1 l nu k nabla h k bar x 0 nbsp bei Minimierung bei Maximierung g i x 0 m i 0 m i g i x 0 displaystyle g i bar x leq 0 mu i geq 0 mu i g i bar x 0 nbsp fur alle 1 i m displaystyle 1 leq i leq m nbsp h k x 0 displaystyle h k bar x 0 nbsp fur alle 1 k l displaystyle 1 leq k leq l nbsp und m n z displaystyle mu nu bar z nbsp ungleich dem Nullvektor ist Jeder Punkt in dem diese Bedingungen erfullt sind heisst Fritz John Punkt oder kurz FJ Punkt Die FJ Bedingungen unterscheiden sich nur durch Einfuhrung des Skalars z displaystyle bar z nbsp vor dem Gradient der Zielfunktion Hinreichende Bedingungen Bearbeiten Ist x displaystyle bar x nbsp ein KKT Punkt und die Richtung des steilsten Auf bzw Abstiegs schliesst mit den Flanken des Tangentenkegels einen Winkel kleiner als 90 ein dann ist x displaystyle bar x nbsp ein minimaler bzw maximaler Punkt Mathematisch Gilt f x d gt 0 o d e r lt 0 displaystyle nabla f bar x cdot vec d gt 0 mathrm oder lt 0 nbsp fur alle d T S x 0 displaystyle vec d in T S bar x setminus lbrace vec 0 rbrace nbsp dann ist x displaystyle bar x nbsp ein lokales Minimum bzw Maximum Dies ist ein hinreichendes Optimalitatskriterium erster Ordnung Ein hinreichendes Optimalitatskriterium zweiter Ordnung fur einen KKT Punkt x displaystyle bar x nbsp besagt dass wenn x displaystyle bar x nbsp ein stationarer Punkt und die Hesse Matrix der Zielfunktion ist positiv negativ definit fur alle Vektoren aus dem Tangentenkegel dann ist x displaystyle bar x nbsp ein lokales Minimum bzw Maximum Mathematisch f x 0 displaystyle nabla f bar x vec 0 nbsp und d 2 f x d gt 0 o d e r lt 0 displaystyle vec d cdot nabla 2 f bar x vec d gt 0 mathrm oder lt 0 nbsp fur alle d T S x 0 displaystyle vec d in T S bar x setminus lbrace vec 0 rbrace nbsp Darin ist T S x displaystyle T S vec x nbsp der Tangentenkegel siehe Regularitats Bedingungen Tangenten und Linearisierender Kegel Satze zu den Naherungsverfahren Bearbeiten Im Grenzwert der gegen null gehenden Barriereparameter geht die mit Barrierefunktionen gefundene Losung in die mit den Lagrange Multiplikatoren gefundene Losung uber Im Grenzwert der gegen unendlich gehenden Strafparameter geht die mit Straffunktionen gefundene Losung in die mit den Lagrange Multiplikatoren gefundene Losung uber Im Grenzwert unendlich vieler Iterationen strebt die mit der erweiterten Lagrange Methode gefundene Losung auch gegen die mit den Lagrange Multiplikatoren gefundene Losung Beispiel Bearbeiten nbsp Flache f a b a bAnhand eines einfachen Beispiels sollen die oben genannten funf Methoden der Losung eines Problems erlautert werden In dem Problem soll das Produkt zweier positiver reeller Zahlen maximiert werden deren Summe hochsten sechzehn betragt Mathematisch formuliert heisst das Gesucht wird f a b a b m a x displaystyle f left a b right a cdot b rightarrow mathrm max nbsp mit der NB g a b a b 16 0 displaystyle g left a b right a b 16 leq 0 nbsp Es ist anschaulich klar dass im Optimum die NB aktiv ist sonst konnte leicht eine bessere Losung gefunden werden Der einzige stationare Punkt mit f 0 displaystyle nabla f vec 0 nbsp dieser in a displaystyle a nbsp und b displaystyle b nbsp linearen Funktion liegt in 0 0 displaystyle 0 0 nbsp weswegen die Suche manchmal in diese Richtung geht Dann muss man die NB gewissermassen in den Weg legen damit der Algorithmus sie bemerkt Eliminierung der Freiheitsgrade Bearbeiten Aus der als aktiv erkannten NB ermittelt man a b 16 0 b 16 a displaystyle a b 16 0 rightarrow b 16 a nbsp und die Hilfsfunktion hangt nur noch von a displaystyle a nbsp ab so dass die Losung mittels Kurvendiskussion berechnet werden kann P a f a 16 a a 16 a 16 a a 2 m a x P a 16 2 a 0 a 8 b 16 8 8 P a 8 2 lt 0 displaystyle begin array l Pi a f a 16 a a cdot 16 a 16a a 2 rightarrow mathrm max rightarrow Pi a 16 2a 0 rightarrow a 8 rightarrow b 16 8 8 rightarrow Pi a 8 2 lt 0 end array nbsp Man sieht Die Hilfsfunktion hat nur noch eine Variable Die Losung ist korrekt denn es handelt sich um ein Maximum Das Verfahren findet vor allem dann Anwendung wenn bekannt ist dass die NB aktiv ist z B im Kontakt fest verklebter Bauteile Lagrange Multiplikator Bearbeiten Hier wird die l displaystyle lambda nbsp fache NB von der Zielfunktion subtrahiert worin der Faktor l displaystyle lambda nbsp der Lagrange Multiplikator ist und wie eine zusatzliche Unbekannte behandelt wird Die Subtraktion wird gewahlt damit eine Verletzung der NB bei l gt 0 displaystyle lambda gt 0 nbsp bestraft wird Die Hilfs oder Lagrange Funktion lautet hier also P a b l a b l a b 16 m a x displaystyle Pi a b lambda a cdot b lambda a b 16 rightarrow mathrm max nbsp Im Minimum verschwinden alle Ableitungen nach allen Variablen P a b l 0 l b P b a l 0 a l b P l 16 a b 16 2 a 0 a b l 8 displaystyle begin aligned frac partial Pi partial a amp b lambda 0 amp rightarrow lambda amp b frac partial Pi partial b amp a lambda 0 amp rightarrow a amp lambda b frac partial Pi partial lambda amp 16 a b 16 2a 0 amp rightarrow a amp b lambda 8 end aligned nbsp und die Losung a b 8 displaystyle a b 8 nbsp ist gefunden Wegen g a 8 b 8 0 displaystyle g a 8 b 8 0 nbsp und l 8 0 displaystyle lambda 8 geq 0 nbsp ist die Karush Kuhn Tucker Bedingung erfullt Das obige Gleichungssystem kann als Matrizengleichung geschrieben werden 1 0 1 0 1 1 1 1 0 b a l 0 0 16 displaystyle begin pmatrix 1 amp 0 amp 1 0 amp 1 amp 1 1 amp 1 amp 0 end pmatrix begin pmatrix b a lambda end pmatrix begin pmatrix 0 0 16 end pmatrix nbsp Die Methode der lagrangeschen Multiplikatoren erfullt die NB exakt fuhrt zusatzliche Unbekannte l displaystyle lambda nbsp ein schleust verschwindende Diagonalelemente in das Gleichungssystem ein die bei Anwendung der Cholesky Zerlegung problematisch sind kann anhand des Vorzeichens von l displaystyle lambda nbsp beurteilen ob die Nebenbedingung aktiv ist oder nicht positiv bei Aktivitat Barrierefunktion Bearbeiten Mit Barrierefunktionen konnen Neben Bedingungen mit Sicherheit erfullt werden zu dem Preis dass im Optimum die NB nicht ausgereizt wird Bei der Suche nach einer Losung wird zur Ziel Funktion f displaystyle f nbsp das r displaystyle r nbsp fache einer Barrierefunktion hinzu addiert z B P a b a b 2 r ln 16 a b m a x displaystyle Pi left a b right a cdot b 2r ln 16 a b rightarrow mathrm max nbsp Darin ist ln 16 a b displaystyle ln 16 a b nbsp eine logarithmische Barrierefunktion und 2 r displaystyle 2r nbsp der Barriereparameter Im Extremum verschwinden wieder alle Ableitungen P a b 2 r 16 a b 0 P b a 2 r 16 a b 0 displaystyle begin aligned frac partial Pi partial a b frac 2r 16 a b 0 frac partial Pi partial b a frac 2r 16 a b 0 end aligned nbsp und daher a b displaystyle a b nbsp sowie a 16 2 a 2 r 2 a 2 8 a r 0 displaystyle a 16 2a 2r 2 a 2 8a r 0 nbsp was die Losung a b 4 16 r 8 displaystyle a b 4 pm sqrt 16 r leq 8 nbsp besitzt die fur r 0 displaystyle r rightarrow 0 nbsp die Losungen a b 0 0 8 8 displaystyle a b in 0 0 8 8 nbsp annimmt Bei der iterativen Suche mit dem Newton Raphson Verfahren bekommt man die Vorschrift P 2 P D x b 2 r 16 a b a 2 r 16 a b 2 r 16 a b 2 1 2 r 16 a b 2 1 2 r 16 a b 2 2 r 16 a b 2 D a D b 0 0 displaystyle nabla Pi nabla 2 Pi Delta vec x begin pmatrix b frac 2r 16 a b a frac 2r 16 a b end pmatrix begin pmatrix frac 2r 16 a b 2 amp 1 frac 2r 16 a b 2 1 frac 2r 16 a b 2 amp frac 2r 16 a b 2 end pmatrix begin pmatrix Delta a Delta b end pmatrix begin pmatrix 0 0 end pmatrix nbsp fur die Berechnung des Inkrements D a displaystyle Delta a nbsp und D b displaystyle Delta b nbsp Die Determinante der Hesse Matrix 2 P displaystyle nabla 2 Pi nbsp lautet 4 r 2 16 a b 4 1 2 r 16 a b 2 2 4 r 16 a b 2 1 displaystyle frac 4r 2 16 a b 4 left 1 frac 2r 16 a b 2 right 2 frac 4r 16 a b 2 1 nbsp Man sieht Die Nebenbedingung wird eingehalten Im Grenzwert r 0 displaystyle r rightarrow 0 nbsp erhalt man die exakte Losung Fur r gt 16 displaystyle r gt 16 nbsp existiert kein optimaler Punkt Allgemein stimmen die Hohenlinien der Hilfsfunktion nicht mit denen der Zielfunktion uberein Bei Annaherung an die Losung und mit r 0 displaystyle r rightarrow 0 nbsp kann die Hesse Matrix schlecht konditioniert sein Bei einer inkrementellen Suche muss sichergestellt werden dass das Inkrement in den Unbekannten nicht so gross ist dass man aus Versehen auf der falschen Seite der Barriere landet wo die Barrierefunktion in diesem Beispiel nicht definiert ist Strafverfahren Bearbeiten Mit Straf Verfahren konnen Neben Bedingungen naherungsweise erfullt werden Bei der Suche nach einer Losung wird von der Ziel Funktion f displaystyle f nbsp das r displaystyle r nbsp fache einer Straffunktion abgezogen soll ja die Verletzung bestrafen P a b a b r n m a x 0 a b 16 n m a x displaystyle Pi a b a cdot b frac r n cdot mathrm max 0 a b 16 n rightarrow mathrm max nbsp Darin ist r displaystyle r nbsp der Straf Parameter und m a x 0 a b 16 n displaystyle mathrm max 0 a b 16 n nbsp die Straffunktion Mit n 1 displaystyle n 1 nbsp nennt man die Straffunktion exakt sie ist aber nicht differenzierbar Hier soll n 2 displaystyle n 2 nbsp benutzt werden Im Extremum verschwinden wieder alle Ableitungen P a b r m a x 0 a b 16 0 P b a r m a x 0 a b 16 0 displaystyle begin aligned frac partial Pi partial a b r cdot mathrm max 0 a b 16 0 frac partial Pi partial b a r cdot mathrm max 0 a b 16 0 end aligned nbsp Mit a b 16 0 displaystyle a b 16 leq 0 nbsp bekommt man a b 0 displaystyle a b 0 nbsp weswegen man hier im verbotenen Gebiet a b 16 gt 0 displaystyle a b 16 gt 0 nbsp starten muss Dann folgt aus P a b r a b 16 0 a 1 1 r b 16 P b a r a b 16 0 1 1 r a b 16 displaystyle begin aligned frac partial Pi partial a amp b r a b 16 0 amp rightarrow quad a left 1 frac 1 r right b amp 16 frac partial Pi partial b amp a r a b 16 0 amp rightarrow quad left 1 frac 1 r right a b amp 16 end aligned nbsp das Gleichungssystem 1 1 r 1 1 1 1 r a b 16 16 displaystyle begin pmatrix 1 frac 1 r amp 1 1 amp 1 frac 1 r end pmatrix begin pmatrix a b end pmatrix begin pmatrix 16 16 end pmatrix nbsp mit der Losung a b 16 r 2 r 1 8 8 2 r 1 gt 8 displaystyle a b frac 16r 2r 1 8 frac 8 2r 1 gt 8 nbsp die fur r displaystyle r rightarrow infty nbsp in die Losung a b 8 displaystyle a b 8 nbsp ubergeht Man sieht Die Nebenbedingung wird nur naherungsweise erfullt aber mit wachsendem Strafparameter immer besser allerdings nur weil hier exakt gerechnet werden kann Bei numerischer Losung des Gleichungssystems wurden Rundungsfehler mit wachsendem Strafparameter zu Fehlern fuhren Der Grund hierfur liegt darin dass mit zunehmendem Strafparameter der Wert der Determinante des Gleichungssystems 1 1 r 2 1 1 r 2 2 r displaystyle left 1 frac 1 r right 2 1 frac 1 r 2 frac 2 r nbsp gegen null geht Das Problem ist zunehmend schlecht gestellt Es muss ein Kompromiss hinsichtlich der Konditionierung des Gleichungssystems und der Genauigkeit der Erfullung der NB gefunden werden Durch Einsetzen von a displaystyle a nbsp und b displaystyle b nbsp in die NB kann gepruft werden wie stark sie verletzt wird Es werden keine zusatzlichen Variablen oder verschwindende Diagonalelemente eingeschleust es existiert eine Losung fur alle Strafparameter r 1 2 displaystyle r neq 1 2 nbsp und das Verfahren gilt als numerisch robust Erweiterte oder verallgemeinerte Lagrange Methode Bearbeiten Die erweiterte oder verallgemeinerte Lagrange Methode englisch augmented lagrange method benutzt die Straffunktion um die Lagrange Multiplikatoren naherungsweise zu berechnen Bei der Suche nach einer Losung wird von der Zielfunktion f displaystyle f nbsp das l i displaystyle lambda i nbsp fache der NB und das r displaystyle r nbsp fache einer Straffunktion abgezogen Strafidee P a b a b 1 2 r m a x 0 l i r a b 16 2 l i 2 m a x displaystyle Pi a b a cdot b frac 1 2r left mathrm max 0 lambda i r a b 16 2 lambda i 2 right rightarrow mathrm max nbsp Im Extremum verschwinden alle Ableitungen P a b a b m a x 0 l i r a b 16 0 P a b b a m a x 0 l i r a b 16 0 displaystyle begin aligned frac partial Pi a b partial a b mathrm max 0 lambda i r a b 16 0 frac partial Pi a b partial b a mathrm max 0 lambda i r a b 16 0 end aligned nbsp Mit l i r a b 16 0 displaystyle lambda i r a b 16 leq 0 nbsp bekommt man a b 0 displaystyle a b 0 nbsp Andernfalls entsteht aus b l i r a b 16 0 a 1 1 r b 16 l i r a l i r a b 16 0 1 1 r a b 16 l i r displaystyle begin aligned b lambda i r a b 16 amp 0 amp rightarrow quad a left 1 frac 1 r right b 16 frac lambda i r a lambda i r a b 16 amp 0 amp rightarrow quad left 1 frac 1 r right a b 16 frac lambda i r end aligned nbsp das Gleichungssystem 1 1 r 1 1 1 1 r a b 16 l i r 16 l i r displaystyle begin pmatrix 1 frac 1 r amp 1 1 amp 1 frac 1 r end pmatrix begin pmatrix a b end pmatrix begin pmatrix 16 frac lambda i r 16 frac lambda i r end pmatrix nbsp das die Losung a i 1 b i 1 16 r l i 2 r 1 8 8 l i 2 r 1 displaystyle a i 1 b i 1 frac 16r lambda i 2r 1 8 frac 8 lambda i 2r 1 nbsp hat Die numerische Suche des Extremums mit der erweiterten Lagrange Methode startet normalerweise mit i 0 displaystyle i 0 nbsp und den Anfangswerten a 0 b 0 l 0 0 displaystyle a 0 b 0 lambda 0 0 nbsp berechnet a i 1 displaystyle a i 1 nbsp und b i 1 displaystyle b i 1 nbsp im nicht linearen Fall Iteration bis zur Konvergenz setzt l i 1 m a x 0 l i r g a i 1 b i 1 m a x 0 l i r a i 1 b i 1 16 displaystyle lambda i 1 mathrm max 0 lambda i r cdot g a i 1 b i 1 mathrm max 0 lambda i r cdot a i 1 b i 1 16 nbsp und bricht ab wenn ein geeignetes Konvergenzkriterium erfullt ist oder inkrementiert i displaystyle i nbsp und kehrt in Schritt 2 zuruck Hier muss allerdings ein Startwert mit a b 16 gt 0 displaystyle a b 16 gt 0 nbsp vorgegeben werden damit der Punkt a b 8 8 displaystyle a b 8 8 nbsp gefunden werden kann Mit r 100 a 0 100 displaystyle r 100 a 0 100 nbsp und b 0 l 0 0 displaystyle b 0 lambda 0 0 nbsp ergibt sich bis zu einem Fehler a i a i 1 lt 10 10 displaystyle a i a i 1 lt 10 10 nbsp folgender Iterationsverlauf i displaystyle i nbsp a i displaystyle a i nbsp a i a i 1 displaystyle a i a i 1 nbsp l i displaystyle lambda i nbsp a i b i a i 1 b i 1 displaystyle a i b i a i 1 b i 1 nbsp a i b i 16 displaystyle a i b i 16 nbsp 1 8 04020100503 91 959798995 8 04020100502 64 6448322012 0 08040201005022 7 9997979849 0 0404030201258 7 9997979849 0 648064402007 0 0004040302012563 8 00000101515 0 000203030251889 8 00000101515 0 00324844322116 2 03030252166e 064 7 9999999949 1 02025252513e 06 7 9999999949 1 63240414395e 05 1 02025285997e 085 8 00000000003 5 12689890542e 09 8 00000000003 8 20303824867e 08 5 12692110988e 116 8 0 2 57633914202e 11 8 0 4 12214262724e 10 2 57571741713e 13Mit einem grosseren Straf Parameter ware die Konvergenz schneller das Beispiel aber weniger illustrativ Die erweiterte Lagrange Methode erfullt die NB beliebig genau fuhrt weder neue Unbekannte ein noch beeintrachtigt sie die Konditionierung des Gleichungssystems benotigt dazu mehrere konvergierte Losungen des globalen Problems im zweiten Schritt und kann die Aktivitat der Neben Bedingung an l i displaystyle lambda i nbsp messen Literatur BearbeitenAvriel Mordecai Nonlinear Programming Analysis and Methods Dover Publishing 2003 ISBN 0 486 43227 0 eingeschrankte Vorschau in der Google Buchsuche R Andreani J M Martinez M L Schuverdt On the relation between constant positive linear dependence condition and quasinormality constraint qualification In Journal of optimization theory and applications vol 125 no2 2005 S 473 485 researchgate net abgerufen am 5 Dezember 2017 Florian Jarre Josef Stoer Optimierung Springer Berlin 2003 ISBN 978 3 540 43575 4 doi 10 1007 978 3 642 18785 8 R Reinhardt A Hoffmann T Gerlach Nichtlineare Optimierung Springer 2013 ISBN 978 3 8274 2948 3 eingeschrankte Vorschau in der Google Buchsuche Weblinks BearbeitenBuch Convex Optimization von Stephen Boyd und Lieven Vandenberghe PDF englisch github com ahudde nonlinear programming eine interaktive Einfuhrung in die nichtlineare Optimierung Abgerufen von https de wikipedia org w index php title Nichtlineare Optimierung amp oldid 229004699