Hallo, wir fangen jetzt an mit iterativen Minimierungsverfahren oder auch Maximierungsverfahren.

Wir sprechen einfach über Minimierung, weil wir uns dann auf eine Innovation einigen,

aber alles was Minimierung macht kann auch auf Maximierung angewandt werden.

Und iterativen Verfahren sind immer dann eine Überlegung wert, wenn die Funktion für deren

Extremwerte wir uns interessieren, einen Gradienten hat, den wir nicht einfach so gleich nur setzen können.

Also zum Beispiel, wenn der Gradient von f so was rauskommt, wie, ja, sagen wir mal,

e hoch x2 minus x2 und dann Cos von x1 mal x2 plus Logarithm von x1, ja, irgendwie sowas

schreckliches, wenn wir das hier gleich nur setzen wollen, dann wissen wir nicht, was wir tun sollen.

Also das ist etwas, was wir nicht analytisch lösen können.

Hier können wir also nicht kritische Punkte direkt bestimmen, indem wir sie analytisch ausrechnen.

Das heißt, die Idee ist jetzt hier nach Verfahren zu suchen, die immer besser werden, in der Hinsicht,

dass wir mit einem Wert starten und wir dann über die Zeit iterativ immer näher an Minima oder Maxima rankommen.

Also wir sprechen jetzt immer über Minima ab jetzt, damit wir sozusagen eine Notation haben.

Diese iterativen Minimums fahren, die suchen typischweise nur lokale Minima, weil sie sowas machen wie eine lokale Verbesserung.

Also die ganz grobe Idee ist, wir starten einen Punkt und wir wollen in eine Richtung gehen, in die der Funktionswert kleiner wird,

und wenn wir dann das lang genug machen, dann werden wir hoffentlich nahe genug an einem lokalen Minimum sein.

Und jetzt ist, denke ich, in der Zeit nochmal über Funktionen und Gradienten zu sprechen.

Ich habe das im Kapitel über Newton-Verfahren schon so ein bisschen gemacht,

und ich habe so ein bisschen für gegeben angenommen, dass sie wissen, was Gradienten sind, in welche Richtung ich zeige,

nämlich in die Richtung des scheißen Anstiegs, aber ich denke, dass es gut wäre,

das nochmal ein bisschen auf solidere mathematische Füße zu stellen, und wir da eine gute Anschauung dafür haben.

Also hier schauen wir uns eine Funktion an, die geht von R2 nach R.

R2 ist es hier die Achse hier unten, das ist hier der x-Achse, und da hinten ist dann die y-Achse,

und das ganze hier ist der R2.

Das ist die Definitionsmenge, und nach oben geht die Rehelle Achse, das ist das Bild von F.

Man kann es auf zwei Arten und Weise ganz gut visualisieren. Das eine ist als Graph der Funktion.

In der Graph der Funktion, das ist ja in alle Dimensionen, also eine Funktion, die von einer Dimension nach allen Dimensionen geht, von R nach R,

da ist der Graph sowas, der sieht dann so aus, x und f von x, das ist der Graph,

und wenn unser Definitionsbereich zweidimensional ist, unser Zielbereich aber weiterhin eindimensional,

dann ändert sich nichts, als dass wir eine weitere Dimension hinzufügen, und dann ist f von x, y.

Das ist dann der Graph, und dadurch wird das jetzt hier dreidimensional, und wird so eine Art Teppich.

Das ist das, was hier passiert. Das linke Bild ist der Graph der Funktion,

weil man aber nicht immer dreidimensionalen Dinge zeichnen möchte, vor allem nicht händisch,

gibt es auch diese Schaltweise, oder diese Art und Weise es darzustellen.

Das ist ein Konturenplot, oder Niveaumengenplot, da schaut man gewissermaßen von oben,

dieses Bild hier ist dieses Bild von oben drauf gesehen, das ist so ähnlich wie so eine topografische Karte,

eine Wanderkarte zum Beispiel, oder eine Skikarte, oder halt eine Karte, in der man Gebirge sieht,

und wo die Höhenlinien dieser Gebirge eingezeichnet werden, da sieht man erstens die Höhenlinien,

also die Linien konstanter Höhe, die wären jetzt hier so, solche Linien hier drin,

und dann ist es zusätzlich auch noch eingefärbt mit Farben, die den Funktionswert hier farblich codieren.

Und das ist aber die gleiche Information, alles was hier drin steckt, ist auch hier drin,

nur haben wir eine Dimension entfernt, indem wir es farblich markiert haben.

Also hier steckt sozusagen Redundantinformation drin, Höhe ist gleich Farbe,

und das heißt wir lassen die Höhe weg und machen nur die Farbe und das ist dann der Konturenplot.

Okay.

So, jetzt habe ich bereits benutzt, dass der Gradient einer Funktion senkrecht auf den Niveaumlinien einer Funktion steht,

das haben Sie vielleicht schon mal gehört, oder wissen es vielleicht auch schon,

aber vielleicht nicht alle von Ihnen, deswegen machen wir das jetzt noch ein bisschen genauer.

Und wir starten mit der Richtungsableitung von f in Richtung r.

Also wenn wir hier in so einem, ja nehmen wir mal nochmal so einen Plot,