Ich werde nochmal ein paar Schritte zurückgehen.

Also wir fangen an bei der Modellierung eines Projektes.

Wir fangen an mit den Daten, die müssen mit dem Kunden besprochen werden.

Und dann muss ich die Daten ein bisschen vorarbeiten, sprich ich muss mir die Optik mal anschauen.

Haben die einen Trend?

Sind die strukturstabil?

Wie muss ich die eskalieren, damit ich sie richtig benutzen kann?

Das entspricht der Einstellen der Sensitivität des Auges, was wir hier tun.

So und dann die Diskussion der Zielfunktion haben wir hinter uns gebracht.

Und dann sind wir jetzt also bei einem Minimalmodell, sprich bei einem möglichen trivialen,

neueren Netzwerk, gegeben die Daten des Kunden und gegeben der Output, den er vorher gesagt haben will.

Und zwischendurch die Hiddenschicht, das ist eine reine Schätzung, da habe ich noch kein

nichts Geistvolles reingesteckt, weil das die Aufgabe des Modellbauers, nicht des Kontens.

Und das nächste, was er jetzt machen muss, ist zu bestimmen, wie groß, wie viele Hiddeneronen

sollte ich denn jetzt wirklich nehmen? Und dafür werde ich hingehen und mir mal überlegen,

wie laufen denn die Informationsflüsse durch diesen Hidden Layer?

Naja, wenn der sehr groß ist, dann wird es passieren, dass mehrere von den Hiddeneronen

dieselbe Funktion erfüllen und dann habe ich sinnlos redundante Informationsströme

durch den Hidden Layer. Wenn der zu klein ist, dann werde ich das da dran sehen,

dass die Hiddeneronen sehr, sehr unterschiedliche Informationen darstellen.

Also wie könnte ich rauskriegen, ob der Hidden Layer unterbeschäftigt oder überbeschäftigt ist?

Die Antwort ist eben, dass ich hingehe und einfach den piercenischen Korrelationskoeffizienten

aller Hiddeneronen gegen alle anderen Hiddeneronen rechne. Das ist die Formel, die da oben steht.

Also hier kommt eben ein FI raus für alle Outputs von den Hiddeneronen hier.

Und dann rechne ich also jetzt diesen piercenischen Korrelationskoeffizienten aus

und dann sehe ich, gibt es Hiddeneronen, die praktisch dasselbe Signal erzeugen.

Wenn ja, mache ich den Hidden Layer kleiner. Wenn die nicht sehr ähnlich sind,

dann mache ich den Hidden Layer eher größer. Ich weiß, dass das eine sehr

Fassi-artige Formulierung ist, die ich gerade benutzt habe. Wir wollen das uns zum Beispiel anschauen.

Wir hatten ja eben 15 Inputs, 10 Hiddeneronen, einen Output.

Und die Gewichte, die hier unten drin vorkommen in dieser Matrix,

die zeige ich jetzt mal nicht als Matrix an, sondern einfach das Histogramm der größte der Gewichte.

Da kommt so ein Bild raus. Dann würde ich sagen, wenn ich dieses Bild sehe, finde ich das in Ordnung,

weil das sind keine sehr großen Gewichte, die hier nach links oder rechts ausreißen.

Die liegen alle so in einem Bereich zwischen plus, ja, in der Gegend von plus minus zwei oder ein bisschen drüber drunter.

Also das sind alles Wechselvorkommen von Variablen, die sind okay.

Und dann hier oben, die Matrix, die hier steht, die ist auch völlig okay, weil da stehen auch laute Gewichte drin,

die keinerlei Extremverhalten zeigen. Und jetzt gucken wir uns an, was haben wir hier von den 10 Hiddeneronen,

die wir hier haben, was haben wir hier als Kreuzkollektionseffekte?

Dann ist natürlich von vornherein klar, auf die Diagonale ist die Kreuzkollektion immer eins,

weil ein Hiddeneron mit sich selber ist immer 100 Prozent korreliert.

Sprich, ich werde hier eine Matrix sehen, die ist auf der Diagonale immer eins.

Das zweite, was ich eben anmerke, ist diese Matrix, die wir hier sehen, die ist symmetrisch,

weil wenn ich das Verhalten von I gegen J untersuche, ist das natürlich dasselbe wie J gegen I.

Sprich, also mit meiner Aufmerksamkeit sollte ich mal auf die eine Hälfte von der Matrix hier legen.

Und dann habe ich die hier oben in dem Bereich, und dann kann ich mich ja fragen,

was ist jetzt die höchste Kreuzkollektion zwischen diesen Elementen?

Also wie gesagt, die Diagonale müssen wir wegnehmen, weil da kommt immer der höchste Wert raus.

Wir gucken nur oberhalb von der Diagonale hier. Von mir können Sie auch unterhalb gucken, aber die eine Hälfte halt.

Und dann sehe ich ja schöne Bilder. Jetzt muss ich mal rauskriegen, was ist denn der höchste Wert, der da vorkommt.