Dieser Audiobeitrag wird von der Universität Erlangen-Nürnberg präsentiert.

So als Überblick, wo wir im Moment stehen, wir machen Inferenz mit Unsicherheit mit der Idee,

dass wir gerne Agenten bauen möchten, die sich in unsicheren Welten rational verhalten,

also optimal verhalten, bezüglich der erwarteten Nützlichkeit ihrer Aktionen.

Was wir gemacht haben, war, dass wir Wahrscheinlichkeitsrechnung eingeführt

haben, damit wir Glaubens- oder Wissensmodelle haben und haben uns dann Entscheidungstheorie

angeguckt, nämlich wie man unter Unsicherheit Entscheidungen trifft in einer episodischen

Umgebung. Episodische Umgebungen haben den großen Vorteil, dass man sich nicht um Zeit

kümmern muss. Was wir jetzt schon angefangen haben, ist, dass wir uns jetzt um Zeit kümmern

können. Da wollen wir im Prinzip ganz genau das Gleiche machen. Wahrscheinlichkeitsrechnung

mit Zeit und dann Entscheidungstheorie mit Zeit. Das gipfelt dann in den stärksten Agenten,

die nicht lernen. Danach kommt man zum Lernen. Wir haben ja schon angefangen, über diese

informationssammelnden Agenten zu sprechen, das sind aber noch keine lernenden Agenten.

Jetzt kommt erstmal die Zeitkomponente. Das heißt, wir brauchen Wahrscheinlichkeitsmodelle

mit Zeit und im Prinzip ist die Sache recht einfach. Wir nehmen für jede konzeptionelle

Zufallswariable, die wir haben, einfach Omega viele, indem wir die mit einem kleinen Zeitindex

versehen und gucken uns an, wie die sich über die Zeit verändern. Das war also die Idee

hier, die ganz natürliche Idee. Wenn ich sie irgendwie gesagt hätte, wie machen wir

jetzt Zeit, dann hätten sie gesagt, wir machen einen kleinen Index dran. Da ist nichts

dran Erstaunliches. Wenn man sich dann hinsetzt und den ganzen Krempel durchexerziert, dann

kommt man im Wesentlichen auf diese Ideen und dann kommt man zu diesen Markovketten

oder Markovprozessen, die im Wesentlichen Bayesische Netzwerke sind, in denen man eine Zeitrelation

ausgezeichnet hat und in dieser Zeitrelation, die sich durch so einen Einflussdiagramm ausdrückt,

wie wir es hier im Bayesian Netzen sowieso schon haben, dann will man natürlich irgendwie

die Rechenschwierigkeit begrenzen und da kommt man ganz natürlich irgendwie auf diese Idee

der Markovketten. Markovketten, indem man einfach in den Bayesian Netz, was man betrachtet,

indem man da die Anzahl der, ich will mal sagen, temporalen Elternrelation, indem man

die beschränkt. Und das war ja eine Sache, die wir gesehen hatten in Bayesian Netzwerken,

dass je weniger Kanten man hat, so besser wird das mit der Rechnerei und das ist dann

so ein Trade-off-Prozess, indem man sagt, man will so wenig Kanten wie möglich und so

viele wie nötig. Nämlich wenn man Einflüsse vergisst, kriegt man irgendwie Unwahrkeiten

und vergisst man Informationen im Modell. Und typischerweise sind sehr viele solche Prozesse

First-order Markovprozesse, diejenigen, die wir modellieren wollen. Man kann immer, man

hat auch hier so eine, in der Ordnung dieser ganzen, dieser Markovprozesse hat man auch

eine gewisse, hat man eine gewisse Modellierungsfreiheit, wie übrigens in ganz vielen dieser Dinge hat

man Modellierungsfreiheit und sehr häufig kann man in der Ordnung runtergehen, wenn

man mehr Zufallsvariabeln zulässt. Wenn man mehr Zufallsvariabeln zulässt, ist das natürlich,

macht das mein Netz auch größer, aber man kann dadurch unter Umständen Kanten sparen

und Kanten sind der Faktor, der einen am Ende umbringt bei der Rechnerei. Wir haben uns

das immer wieder an diesem Regenschirmbeispiel angeguckt, wo man irgendwie beobachten kann,

ob der Chef den Regenschirm mitbringen kann und daraus erschließen will, man sieht es

sonst nicht, ob es regnet oder nicht. Und wir hatten uns im Wesentlichen weitere Einschränkungen

überlegt, nämlich, dass die Markovprozesse stationär sind, also im Prinzip, dass die

CPTs, diese conditional probability tables, dass die sozusagen entlang der temporalen

Achse immer gleich sind, dass es also temporal stationär ist. Das trifft auf sehr viele

solche Modelle zu. Und wir hatten uns außerdem überlegt, dass wir sind natürlich in einer

Welt, die nur partiell beobachtbar ist. Das heißt, wir brauchen auch noch Sensormodelle.

Und wir haben für die Sensormodelle auch zwei wichtige Annahmen genommen, nämlich einmal,

dass sie auch eine Markov Eigenschaft haben, nämlich, dass die Übergangswahrscheinlichkeiten

hier für meine Sensoren wirklich nur vom momentanen Zustand abhängen. Das heißt, dass