Dieser Audiobeitrag wird von der Universität Erlangen-Nürnberg präsentiert.

So, also guten Morgen zusammen zur ersten Übung Informationstheorie.

Bevor wir anfangen möchte ich ein paar generelle Sachen zur gesamten Übung an sich sagen,

auch wie es ablaufen wird. Was ihr vielleicht schon festgestellt habt ist erstens mal im Studon,

die ersten zwei Übungsblätter sind bereits online. Es ist bei uns nicht so, dass ein Übungsblatt

einen Übungstermin abhandelt, sondern wir werden heute zum Beispiel Übungsblatt 1 und

Übungsblatt 2 machen. Also das hängt immer ein bisschen davon ab, wie viel Zeit jedes Übungsblatt

für sich benötigt und wie weit man kommt. Es werden auch die Lösungen online gestellt,

nach der Übung in der Regel. Das heißt, ihr könnt mitschreiben, ihr müsst nicht mitschreiben.

Ich werde in der Regel, wenn ich hier die Übungen vorrechne, ist es häufig so, dass bei einigen

relativ viel Mathematik dabei ist, wo man einfach nur relativ stur ausrechnen muss. Das ist natürlich

nicht das, worauf wir eigentlich hinaus wollen, ist aber in so einem Fach wie Informationstheorie

zum Teil unvermeidbar. Das bedeutet, ich werde den Fokus in der Übung nicht so sehr aus ausrechnen

legen, sondern ich möchte mich wirklich darauf konzentrieren, dass ihr versteht, was die einzelnen

Konzepte bedeuten. Was kann man wirklich unter, in unserem Beispiel jetzt hier Entropie verstehen,

was kann man wirklich unter wechselseitiger Informations verstehen, in dem Sinne, dass

ihr eine intuitive Bedeutung von dem Ganzen erfasst. Das Ganze ist natürlich trotz allem

relativ theoretisch, wie der Name schon anzeigt, Informationstheorie. Die tatsächlichen Anwendungen,

also die richtig anwendungsnahen Aufgaben, werden wir in der Übung hier leider nicht finden. Dafür

gibt es andere Vorlesungen. Das Problem ist ganz einfach, dass die Informationstheorie zwar die

Basis für vieles oder für fast alles bildet, was heute in der aktuellen Nachrichtenübertragung

benutzt wird, selbst aber halt nur sehr rudimentär anwendbar ist. Sondern was dann wirklich benutzt

wird, sind eher die Ergebnisse daraus. Deswegen nochmal Wiederholung von dem, was ich gerade schon

gesagt habe. Mir ist es wichtig, dass ihr wirklich versteht, was die einzelnen Konzepte sind, wie die

Zusammenhänge da sind und da auch dann logischerweise bitte keine Zurückhaltung mit irgendwelchen

Fragen, wenn irgendwas unklar ist, sondern immer schön raus damit. Es kann durchaus sein, dass ich

dann eben einige Sachen vielleicht nochmal erklär, die in der Vorlesung von Professor Huber schon ein,

zwei mal ausführlich besprochen sind. Ihr könnt euch sicher sein, wenn das vorkommt, dann sind

das meistens relativ wichtige Dinge, wo wir eben wirklich Wert darauf legen, dass ihr die verinnerlicht

habt, was das Ganze bedeutet. Heute wird es relativ stark erstmal mit den Basics loslegen,

also sprich, was bedeutet eigentlich Entropie nochmal, was bedeutet eigentlich wechselseitige

Informationen und das Ganze ein bisschen auch in Hinblick dann darauf, wie sich das Ganze in

Zusammenhang, wenn man verschiedene Zufallswariablen betrachtet, verhält. Wenn wir zum Beispiel mal die

erste Aufgabe direkt anschauen, haben wir einfach drei binäre Quellen gegeben, x, y und z. Die haben

irgendeine Verbundwahrscheinlichkeit gegeben und jetzt ist man eben an den einzelnen Entropien

interessiert. Einerseits den einzelnen Entropien der einzelnen Quellen, dann den bedingten Entropien

und zuletzt noch den Verbundentropien. Und da möchte ich direkt mal anfangen, wiederholen,

was ist eigentlich nochmal Entropie? Aus der Vorlesung wisst ihr, Shannon hat ein Informationsmaß

definiert, minus Logarithmus der Wahrscheinlichkeit eines Ereignisses. Die Entropie ist nichts anderes,

als der Mittelwert dieses Informationsmaßes über alle Ereignisse einer Zufallswariablen. Das Problem

ist an dieser Definition oder das Problem, das ich sehe an dieser Definition, ist immer, dass es in

meinen Augen relativ unintuitiv ist. Das bedeutet, ich bezeichne die Entropie in der Regel nicht als

Mittelwert von Informationen, wie es definiert ist, sondern was ich gerne sage oder was auch Professor

Huber relativ gerne sagt, ist, ich schaue mir Entropie als Maß für die Unsicherheit einer

Zufallswariabel an. Was bedeutet jetzt Unsicherheit? Unsicherheit ist relativ einfach. Und zwar kann

man sich das so vorstellen, je weniger Ahnung ich über das Ergebnis einer Zufallswariabel habe,

umso unsicherer ist sie. Man kann das an einigen Beispielen relativ einfach sich veranschaulichen.

Klassisches Beispiel ist jetzt der Münz oder auch der Würfelwurf. Wenn ich einen fairen Würfel

habe, das heißt, jede Seite kommt mit einer Wahrscheinlichkeit von einem Sechstel, dann ist

meine Unsicherheit in diesem Fall maximal, weil ich keinerlei Informationen darüber habe, welches