Dieser Audiobeitrag wird von der Universität Erlangen-Nürnberg präsentiert.

Die Universität Erlangen-Nürnberg präsentiert die Erlangen-Nürnberg-Kompetenz.

Die Komponente ist die Erlangen-Nürnberg-Kompetenz.

Die Komponente ist die Komponente.

Die Komponente ist die Komponente.

Die Komponente ist die Komponente.

Die Komponente ist die Komponente.

Die Komponente ist die Komponente.

Die Komponente ist die Komponente.

Die Komponente ist die Komponente.

Die Komponente ist die Komponente.

Die Komponente ist die Komponente.

Die Komponente ist die Komponente.

Die Komponente ist die Komponente.

Die Komponente ist die Komponente.

Die Komponente ist die Komponente.

Okay.

Was macht man in solchen Situationen?

Ganz viel Engineering.

Typischerweise nähert man Zeugs an.

Sehr häufig braucht man nicht wirklich die genauen Wahrscheinlichkeiten, sondern man kann sich sehr viel Arbeit sparen, indem man irgendwie Abschätzungen macht.

Und dann eben sehr viel rechnet, dass man in einem Beispiel durch Sampling Techniken, dass man eben einen so einen Ast runterläuft, bis man ganz unten ist.

Und dann sagt man, dies hier ist wahrscheinlich typisch und wir haben 3M plus K von denen und dann werden wir die alle gleich behandeln.

Man verliert natürlich Genauigkeit, aber vielleicht reicht es.

Es ist immer noch besser, als so lange rumzurechnen, bis das Ergebnis irrelevant ist.

Man kann es nach SAT kompilieren, in der Hoffnung, dass man irgendwie schnelle Maschinen für sowas hat.

Man kann dynamische, basienne Netze machen.

Das werden wir relativ bald machen.

Und dann kann man so diese ganzen Fast Order Sachen machen, wo man versucht auszunutzen, dass die Logik erster Stufe eine kompaktere Beschreibungssprache häufig ist als Aussagenlogik.

Aber da geht es dann so wieder typisch für diese Vorlesung ins Eingemachte und deswegen kann man das in Literatur angucken.

Genau, wir hatten uns dann der Entscheidungstheorie zugewandt.

Und man kann im Prinzip diese ganzen basen Netze als eine Voraussetzung für Entscheidungstheorie sehen.

Die Frage ist wirklich für jeden Agenten, was mache ich als nächstes?

Welche Entscheidung ist die beste?

Und tatsächlich haben wir uns das in der Suche und so etwas schon angeguckt.

Da hatten wir natürlich die vereinfachende Annahme, dass wir vollständig observable Welten haben und dass wir deterministische Welten haben und diskret sowieso.

Und deswegen war die Sache da relativ einfach.

Hier ist es so, dass wir das Ganze für nicht deterministische, partiell observierbare Welten machen.

Und im Prinzip die Idee ist, dass wir einfach Logik, das war das, was hinter dem ganzen Stand in dem deterministischen Fall ersetzen durch Wahrscheinlichkeitsrechnung und stochastische Inferenz.

Wir machen jetzt erstmal eine Einschränkung nochmal, nämlich dass wir episodische Umgebungen haben.

Episodisch heißt, dass wir die Welt in Zeitquanten-Lungen einteilen können und dass die Umgebung außerhalb von uns, vom Agenten statisch ist, während der irgendwie entscheidet.

Und dass wir uns wirklich nur, dass sich die beste Aktion tatsächlich aus dieser eingefrorenen Welt errechnen kann.

Wir werden dann später nochmal in zeitabhängige Probleme so ein bisschen reingucken.

Also in sequenzielle Probleme, aber wir wollen uns jetzt erstmal hier mit episodischen Entscheidungstheorien als der nächste Komplexitätsschritt darauf befassen.

Was ist die Schwierigkeit daran?

Wir sind in einer stochastischen Umgebung, die nur partiell sichtbar ist, das heißt wir wissen nicht, was der Current State ist.

Das heißt, wir sind uns weder sicher, was der momentane Zustand ist, noch wohin wir kommen mit unserer Aktion.

Das heißt, wir werden für die Optimierung, müssen wir uns angucken, wie nützlich sind die Resultate unserer Aktion.

Da wir nicht wissen, was die Resultate sind, müssen wir uns angucken, wie die erwartete Nützlichkeit ist.

Wir wissen es einfach nicht. Das heißt, insbesondere, wir wollen uns angucken, was die Wahrscheinlichkeit ist, dass wir in einen Zustand kommen, S-strich,