Wir wollen jetzt nochmal nachholen, warum man auch mit A transponiert arbeiten kann, anstatt mit zwei

Matratzen, was ja im Neurokalkyl das natürliche wäre. Und der Bereich dafür steht hier. Also ich

stelle mir vor, ich habe Vektoren zu erklären, die in einem hochdimensionalen Raum liegen,

aber obwohl die eine hochdimensionalen Beschreibung haben, kommen sie selber nur

in einem linearen Unterraum von einem hochdimensionalen Raum vor. Was bedeutet das? Na gut,

also in der hochdimensionalen Beschreibung habe ich halt hier einen langen Vektor stehen,

aber ich brauche nur wenige Skalierungskonstanten Lambda, um mit den Basisvektoren im

hochdimensionalen Raum alle Elemente hier oben erzeugen zu können. Und wenn ich die Basisvektoren

alle hintereinander schreibe, wäre das gerade eine Matrix U multipliziert mit den Skalierungsparametern

hier. Also so können wir von einem kleinen Raum ausgehend den hochdimensionalen Raum auffüllen,

nicht komplett, sondern eben nur ein Teil davon. Jetzt stelle ich mir als nächstes vor, naja,

wenn ich schon so eine Koordinatenbeschreibung machen kann, dann kann ich auch eine machen,

sodass die Vektoren hier orthonormal sind. Und wenn ich also jetzt hier davon ausgehend,

dass was ich hier hingeschrieben habe, war schon so, dass U orthonormal ist, dann gehen wir jetzt

mal hin und schreiben eine Gleichung hin, die da heißt U transponiert mal X, also wir reden von

dem X hier. U transponiert mal X, das ist ja U transponiert mal U lambda, das kommt von hier.

Und U transponiert U, zusammengenommen ist die Identität, weil ich mir vorgestellt habe,

das ist orthonormal. Und das ist dann gleich lambda. Das heißt, ich habe hier eine zweite

Gleichung stehen, die sagt U transponiert mal X ist gleich lambda. Und ich hatte hier oben eine

Gleichung, die steht, die sagt X ist gleich U mal lambda. Wenn ich also diese beiden Begleichungen

zusammensetze, kriege ich raus, X kann ich schreiben als U mal lambda, das ist die Gleichung Nummer eins.

Und für das lambda setze ich dann hier ein U transponiert X, dann habe ich das so zusammengeschrieben

und schon steht alles da. Also ich habe alleine durch lineare Algebra hier dargestellt, X kann

geschrieben werden als U transponiert X. Da könnte man denken, ja also soll das X rein,

X raus, ist ja nicht interessant. Nein, das ist schon interessant, wenn der Unterraum, also sprich,

wenn die Zahl der Basisvektoren, die ich hier brauche, nicht viele sind, dann wird also hier

am ersten Schritt eine Kompromierung auf wenige Werte durchgeführt, sodass ich davon wieder

rückwärts gehen kann. Und die Voraussetzungen, die wir hier reingepackt haben, waren nur gewesen, die

Daten sind zwar hochdimensional geschrieben, aber sie leben in Wirklichkeit nur auf dem linearen

Unterraum von der hochdimensionalen Beschreibung. Dann ist das möglich. Aber viel mehr kann diese

Beschreibung mit zwei Matratzen hier auch nicht machen, weil hier war ja die Aussage, ich will

es hier möglichst eng drücken, sprich, ich kann hier nicht viele Nicht-Lineartäten bearbeiten,

sonst bräuchte ich ja viele Elemente in der Hiddenschicht hier. Und von daher ist das,

was hier rauskommt, den hier rauskommt, meistens nicht so weit voneinander entfernt. Also auf jeden

Fall gilt es für die Implikationen, über die wir eben gesprochen haben. So, jetzt nehmen wir mal den weg

und beschäftigen uns wieder da weiter, wo wir vorher aufgehört haben.

Dann war unsere Frage gewesen, wir haben also die Möglichkeit, autoencoded zu haben,

plus zeitliche Entwicklung zu haben. Und das ist alles gut, soweit der autoencoder halt keine

komplizierte Manikfaltigkeit ausdrücken muss. Also das heißt, sowohl vom hochdimensionalen Raum

auf die manikfaltig wie auch von der Manikfaltigkeit zurück darf. Also der darf eigentlich nur in den

linearen Manikfaltigkeiten im Mittel stehen. Dann ist die Geschichte, die hier steht, völlig in Ordnung.

Wenn wir das eben erweitern wollen mit einem nicht-linearen autoencoder, dann können wir auch

jetzt nicht mehr darüber sprechen, das ist ein autoencoder, sondern das ist eben

wirklich eine nicht-lineare Manikfaltigkeit, wo ich ein dynamisches System drauf bestimmen will.

Da kennt ihr das Bild eben raus, wie es hier steht. Naja, und die Erfahrung, die ich halt im

letzten Semester schon dargestellt habe, ist, wenn ich so ein autoencoder habe, also sprich das

hochdimensional, das niedrigdimensional, und das ist ja im Prinzip jede Möglichkeit für eine

Nicht-linearität kommt hier drin vor, dann ist auch die Frage, kann man das gut lernen, also von

hier nach hier? Und die Antwort ist nicht unbedingt. Aber wenn man diesen Trick anwendet, dass man da,

wo man hier den linearen Teil hat, dass man da eben dann tatsächlich mit transponierten Matrizen