Wir haben uns also jetzt im letzten Kapitel angeschaut, wie kann man Neuro und FASI so zusammenfügen,

dass die sich gegenseitig helfen und nicht nur gegenseitig ergänzen.

Und im nächsten Kapitel jetzt möchte ich einen völlig anderen Weg und Ansatz wählen,

nämlich die Frage stellen, was passiert denn, wenn wir neuronale Netze machen würden,

aber alle Parameter darin komplexe Zahlen sind.

Da mögen sie sagen, ja, das ist mathematisches La-Po-La, so möchte ich das nicht gesehen haben,

weil es gibt ja viele Wissenschaften, die leben davon, dauernd mit komplexen Zahlen zu arbeiten.

Ein Beispiel ist Elektrotechnik.

Also wenn sie Wechselstrom haben, dann ist automatisch die ganze Theorie komplexe Zahlen.

Und bei den Physikern kommt das noch anders häufiger vor.

Also das heißt, man kann sich sehr wohl die Frage stellen, könnte ich nicht meinen ganzen Kalkül jetzt so aufschreiben,

dass das Sinn macht, eben mit komplexen Zahlen anzugehen.

Und wenn wir das tun, müssen wir ein bisschen ähnlich vorgehen wie bei der Bildverarbeitung,

wo wir auch gesagt haben, wir möchten irgendwas erweitern über den Standard hinaus.

Naja, die erste Frage, die man daneben stellen muss, ist, was wird aus unserem Error-Backpropagation?

Wenn Sie Error-Backpropagation angucken, jetzt mache ich nicht hochdimensional,

jetzt bleibe ich wieder in dem Matrix-Vector-Kalkül, dann ist es der Algorithmus.

Ja, was bitteschön wird jetzt da draus, wenn ich hingehe und für die ganzen Parameter,

sprich für die Matrizen hier und für die Funktionen, wenn ich da überall komplexe Zahlen reinschreibe.

Das ist genau das, was wir jetzt angucken müssen.

Und das ist an zwei Stellen, also sagen wir so, die Berechnung der linearen Algebra da drin ist völlig unproblematisch.

Ob das hier komplexe Zahlen sind und hier komplexe Zahlen stehen, wäre völlig egal für unsere Aeregmetik-Berechnung.

Das ist nicht das Problem.

Aber wir wollen mal weiterschauen.

Also hier oben in dem oberen Kasten ist eine Wiederholung, was denn für real value gilt.

Für real value gilt, wir wollen eine Funktion modellieren hier,

eine kleine zirkutratische Abweichung zum Minimum bringen.

Wir machen hier eine Teleentwicklung von der Error-Funktion.

Hot steht für higher order terms, also

Sachen, die ich dann am Ende nicht berücksichtige.

Und dann mache ich hier eine Verschiebung des Originalgewichts in Richtung auf den Gradientenabstand, sprich die erste Ableitung von V.

Und dann sehe ich in der Optimierung hier, wenn ich diese Bewegungsrichtung mache, das heißt V um dieses Stück hier verbessere,

dann kriege ich ein Erfolgserlebnis, weil

e-λ mal Ableitung, also ist ja ein Vektor, Ableitung transponiert mal Ableitung

plus Quadrat von higher order terms ist dann halt hier hinten, das spielt keine Rolle und das macht mir die Minimierung.

Also das wäre ja sozusagen in einem Vierzeiler zusammengefasst,

die Aufgabe, die wir jetzt die ganze Zeit angeguckt haben.

Wenn ich dasselbe für

für komplexe Zahlen machen will, habe ich gleich von vornherein ein Problem, nämlich

wenn eine Error-Funktion, also sagen wir so, eine Error-Funktion muss

als Error-Funktion reelle Werte haben, weil

wir wollen ja irgendwas minimieren.

Und wenn ich irgendwas minimieren will, brauche ich

brauche ich Zahlen, die ein Ranking haben.

Entschuldigung, natürlich auch, aber reelle Zahlen haben natürlich ein Ranking, da kann ich sagen, was das Minimum ist.

Bei komplexe Zahlen können Sie das ja nicht machen.

Komplexe Zahlen ist ja eine flächenartige Beschreibung von Zahlen,

keine lineare Beschreibung von Zahlen.

Also um eine Minimierung ausführen zu können, muss eine Error-Funktion

reelle Zahlen sein.