Dieser Audiobeitrag wird von der Universität Erlangen-Nürnberg präsentiert.

Fangen wir an. Wir waren ja das letzte Mal bei Aufgabe 8 nicht so besonders weit gekommen,

deshalb werde ich einfach eigentlich nochmal von vorne anfangen und die A halt ein bisschen

schneller machen. Aber davor will ich kurz ein Beispiel geben, was es jetzt sein könnte,

was wir hier sehen. Also wir haben ja gegeben eine verbundene gekoppelte, also verbunden,

also gekoppelte, gedächtnislose binäre Quelle XY und die spuckt Quellen-Symbol Paare aus,

die mit einer Verbundwahrscheinlichkeit ausgegeben werden oder auftreten und diese

Verbundwahrscheinlichkeit ist uns mit Hilfe der Tabelle gegeben. Genau und ich habe mir jetzt

mal folgendes Beispiel belegt. X könnte sein, also wenn X gleich 1 ist, dann regnet es und Y,

wenn Y gleich 1 ist, heißt es die Straße ist trocken. Nur damit das Ganze ein bisschen hier

anschaulicher wird. Naja und wir können sehen, wenn X gleich 1 ist, also es regnet, dann ist die

Straße nie trocken. Dann ist die Straße immer nass. Genau. Hingegen, wenn es nicht regnet,

dann kann die Straße trocken oder nass sein. Je nachdem, die kann halt auch nass sein, weil

die Feuerwehr zu Gange war oder Keller übergelaufen ist oder der Nachbar das Auto gewaschen hat. Genau,

das nur als Beispiel und das werden wir jetzt dann, an dem Beispiel werde ich dann die Entropien

immer erklären. So, ich werde wie gesagt die A noch mal rekapitulieren und da ist unsere Aufgabe,

die Entropie der Quelle X und die Entropie der Quelle Y zu berechnen. Gut, dazu brauche ich die

Formel für die Entropie und die Formel für die Entropie ist, die Entropie ist ja der mittlere

Informationsgehalt einer Quelle und dazu muss ich über alle Symbole, die eine Quelle ausspuckt,

mitteln, also quasi eine Erwartungswertbildung machen. Erwartungswert, deshalb Gewichtung mit der

Wahrscheinlichkeit und mal eben dem Schenenschen Informationsmaß und das ist eben der Lugarhythmus

dualis der Wahrscheinlichkeit. Also wenn ich das Symbol XI beobachte, dann bin ich um Lok 2 von

der Wahrscheinlichkeit, dass das Auftritt reicher an Informationen und das haben wir das letzte Mal

schon eingesetzt. Wir haben schon herausgefunden, dass wir dazu die Wahrscheinlichkeiten brauchen,

die bekommen wir über die Randverteilungen, indem wir über die beiden anderen Möglichkeiten

der anderen Zufallsvariable der Verbundwahrscheinlichkeit mitteln und ja, das kann man dann einsetzen,

ist dann minus ein halb, Lok 2 ein halb plus ein halb, Lok 2 ein halb, also es regnet in der

Hälfte der Fälle, um in unserem Beispiel zu bleiben, relativ regnerisch dagegen,

oder in der Hälfte der Tage sagen wir mal und ja, im Mittel bin ich um ein Bit je Symbol,

das ich beobachtet habe, reicher und H von Y muss ich einfach nur dann entsprechend hier

die Wahrscheinlichkeiten für Y einsetzen und das ist dann wieder mithilfe der Randwahrscheinlichkeiten,

die ich berechnet habe, die Randverteilungen meine ich, kann ich das dann ausrechnen und

das dann 0,811 Bit je Symbol, ja man sieht schon die Entropie von Y ist kleiner als die von der

Quelle X und das ist ganz üblich, die Entropie einer Quelle ist maximiert, wenn die, unter der

Voraussetzung, dass beide Quellen hier die gleiche Anzahl der Symbole aus, also die ist auf jeden

Fall maximiert, wenn alle Symbole gleich wahrscheinlich auftreten, das ist ja wahrscheinlich in der

Vorlesung ganz oft erzählt worden. Gut, also die nächste Aufgabe ist die bedingte Entropie,

H Y gegeben X zu berechnen und ja das ist relativ analog zur bedingten Wahrscheinlichkeit, also die

bedingte Entropie, was sagt mir die eigentlich? H Y gegeben X und das ist die mittlere,

Information, die ich von einer Quelle Y erwarten kann oder die ich dann noch rausziehen kann, wenn

X, also die Bedingung, bereits bekannt oder beobachtet ist, je nachdem wie man das sehen will.

Gut und wie ist die definiert?

So, jetzt wieder die Mittellung über alle Symbole X, also das ist ein M X, das ist ein

I. Mit dem Index J mitteln wir über alle Symbole von Y und wir mitteln über die

Verbundwahrscheinlichkeit mal, also die Auftrittswahrscheinlichkeit dieser

Symbolpaare mal eben der bedingten Wahrscheinlichkeit. Also Y gleich Y J gegeben oder beobachtet oder

bekannt, X gleich X I. So, wie bekommen wir jetzt die bedingten Wahrscheinlichkeiten hier?

Da hilft uns die Regel von Bayes, die Wahrscheinlichkeit, also PR steht für

Probability, nur falls sich jemand wundert. Die bedingte Wahrscheinlichkeit ist gegeben als

die Wahrscheinlichkeit, die Verbundwahrscheinlichkeit skaliert mit der Bedingung, da die Bedingung