Dieser Audiobeitrag wird von der Universität Erlangen-Nürnberg präsentiert.

Hallo, willkommen zur Vorlesung nachrichtentechnischer Systeme heute.

Wir haben letzte Woche begonnen uns mit Informationstheorie zu beschäftigen.

Etwas ganz Abstruses, Sonderbares für manche Studierende am Anfang.

Es ist aber wirklich diese Informationstheorie einer der Hauptbausteine für die Technik des 20. Jahrhunderts

oder die zweiten Hälfte des 20. Jahrhunderts und sicherlich auch für das 21. Jahrhundert.

Ich habe schon gesagt, Informationstheorie und der Transistor wurden praktisch im gleichen Haus zur selben Zeit

aus Marai Hill, New Jersey 1948 aus der Taufe gehoben.

Und das sind die beiden Säulen für die informationstechnische Revolution, die Sie ja direkt miterlebt haben.

Also von 1992 als die ersten Mobilfunkgeräte in Betrieb gingen, die noch einen halben Autokofferraum gefüllt haben.

Bis zu heute auch der Betrieb des Internets für nur wenige Spezialisten, die sich damit ausgekannt haben,

bis tief in die 80er Jahre hinein, bis dann zum selbstverständlichen Allgemeingut.

Das haben Sie ja im Wesentlichen miterlebt.

Diese Revolution ist ausgelöst durch diese Informationstheorie. Das kann man ganz klar sagen.

Okay, Information ist messbar und zwar messen wir die Information dahingehend, wie groß die Wahrscheinlichkeit ist,

dass wir etwas beobachten. Je weniger Wahrscheinlichkeit, desto mehr Information, umso überraschender.

Und Shannon hat nun definiert, Clon Shannon, den negativen Logarithmus seiner Ereigniswahrscheinlichkeit als Informationsmaß.

Das ist zunächst einmal nicht spannend, weil es ist eine umkehrbare Abbildung, eine 1 zu 1 Abbildung.

Und wenn ich etwas nur einfach anders darstelle, ob ich arabische oder römische Ziffern nehme, es bleibt die gleiche Zahl so ungefähr.

Da ist noch nichts passiert. Als Hinweiseinheit kommt dann das Bit dazu.

Darüber habe ich viel gesprochen, wie Sie Bit zu verstehen haben und wie das also misinterpretiert wurde im Laufe der Jahrzehnte.

Wichtig geht es dann los, wenn man eine Informationsquelle hat, die als fortlaufend Symbole abgeht.

Und wir wollen einmal eine gedächtnislose Quelle voraussetzen.

Das heißt, die Symbolik folgt statistisch unabhängig aufeinander, so wie wenn Sie immer wieder mit dem Würfel würfeln.

Weil der Würfel auch nicht weiß, was er beim letzten Mal gewürfelt hat.

Dann kann man also den mittleren Informationsgehalt pro Symbol bestimmen.

Der einzelne Informationsgehalt ist der negativen Logarithmus der Ereigniswahrscheinlichkeit für ein Symbol.

Und wenn man den Mittelwert bildet, muss man das jetzt wieder mit der Wahrscheinlichkeit multiplizieren und aufsimulieren über alle Symbole.

Und das nennt man die Entropie einer Quelle, den mittleren Informationsgehalt, die Quellensymbol.

Für eine biniäre Quelle schaut das so aus.

Also wenn man den Zweierlogarithmus nennt, dann sind beide Fälle gleichwahrscheinlich beim fairem Münzwurf.

Dann ist genau die mittlere Unsicherheit ein Bit.

Wenn man aber zu einer Seite hängt, dass es zum Beispiel 0,2 die Wahrscheinlichkeit für A ist und 0,8 für B, dann sind es nur noch 0,72 Bit Entropie.

Okay, um noch einmal darauf ein bisschen abzuheben, damit wir ein bisschen wieder zurückfinden.

Wir haben ein paar Eigenschaften der Entropie gemacht. Eine Entropie ist nie negativ und sie wird maximiert, wenn alle Symbole gleichwahrscheinlich sind.

Gut, haben wir noch ein Beispiel gemacht. Gedächtnisbeauftragte Quellen haben wir uns geschenkt.

Dann kommt also das erste große Theorem der Informationstheorie.

Das besagt, dass für eine Quelle mit der Entropie H von X, also mit dem mittleren Informationsgehalt H von X pro Symbol, es eine umgekehrbar eindeutige Codierung gibt,

wo man im Mittel auch nicht mehr als H von X Binärsymbole pro Quellensymbol benutzen muss.

Also man kann herunter komprimieren bis zur Entropie, aber nicht darunter. Es geht prinzipiell nicht.

Insofern bekommt dann dieser Informationsgehalt gemessen im Bit auch sozusagen eine Bedeutung bezüglich des landläufigen Bits des Binärsymbols,

weil ich genau so viele Binärsymbole pro Quellensymbol brauche, wie Bitinformation in einem Symbol stecken.

Ich will Ihnen dazu ein Beispiel geben, das glaube ich habe ich letztes Mal nicht behandelt. Normale deutsche Texte.

Normale deutsche Texte haben wir mal 26 Buchstaben, lassen wir die große und kleine Schreibung weg und ein paar Sonderzeichen.

Dann sagen wir mal 32 Symbole, während die alle gleich wahrscheinlich, braucht man 5 Binärsymbole, um einen Buchstaben zu codieren, oder?

2 hoch 5 ist 32. Jetzt sind die nicht ganz gleich wahrscheinlich.

Da kommen die I's und die E's und die R's viel häufiger vor als Y oder das Q.

Und wenn man das berücksichtigt, dann hat man noch eine Entropie von etwa 4 Bit pro Quellensymbol.

Und wenn man dann berücksichtigt, was wir jetzt nicht hier gemacht haben, dass die Quelle ja nicht statistisch unabhängig ist,

dass zum Beispiel der letzte Buchstabe eines Wortes, den braucht man gar nicht hinschreiben, der ist völlig klar.