Dieser Audiobeitrag wird von der Universität Erlangen-Nürnberg präsentiert.

So, ich hoffe, Sie hatten eine angenehme Mittagspause und sind etwas erholt von der Wust an Informationen,

die ich da in kurzer Zeit rüberschieben muss und hatten vielleicht auch einen Kaffee,

um aufzuwachen in dieser Stunde des Tiefpunktes, der Aufmerksamkeit über dem Tag, so kurz nach dem Mittagessen.

Ich hoffe, ich kann es einigermaßen spannend halten, sodass Sie dabei bleiben.

Also wir haben ganz abstruse Dinge definiert, den negativen Logarithmus einer Wahrscheinlichkeit

als Maß für Information oder eigentlich als Maß für die Unsicherheit über den Ausgang eines Zufallsexperiments.

Wie unsicher bin ich über den Ausgang eines Zufallsexperiments?

Und das haben wir dann über alle Möglichkeiten, die unsere Informationsquelle abgeben kann, gemittelt.

Und das nennen wir die Entropie, den mittleren Informationsgehalt.

Wie viel Unsicherheit habe ich im Mittel über das nächste Symbol, das die Quelle abgibt?

Wenn ich es natürlich dann in der Hand habe, ist diese Unsicherheit beseitigt und dann ist das der Informationsgewinn.

Informationsgewinn ist die Beseitigung von Unsicherheit über den Ausgang eines Zufallsexperiments.

Besser formuliert noch nicht Beseitigung, sondern Verringerung, weil wir dann gleich haben werden,

was passiert, wenn eine Restunsicherheit übrig bleibt.

Okay, und jetzt sind wir zum ersten zentralen Theorem gekommen.

Die, die in der Informationstheorie dabei sind, wissen, dass wir da wochenlang hinbeweisen an solche Dinge,

was ich natürlich hier nicht machen kann.

Ich kann nur das Ergebnis bekannt geben.

Das heißt, eine Quelle wird spezifiziert durch eine Entropie.

Was ist die Unsicherheit im Mittel über ein Quellensymbol?

Und wenn ich dann lange Folgen, das ist ganz wichtig, lange Folgen von Quellen-Symbolen bilde,

dann gibt es eine Darstellung mittels Binärsymbolen,

wo ich im Mittel nicht mehr als H von X Binärsymbole je einen Quellensymbol brauche,

um eine umkehrbar eindeutige Repräsentation zu bekommen.

Es geht aber niemals mit weniger.

Das ist zugleich eine Existenzschranke.

Es geht, es existiert eine Quellenkodierung runter bis zur Entropie.

Und es ist zugleich eine Nicht-Existenzschranke.

Es gibt keine, bei der ich mich mit weniger Daten pro Quellensymbol auskommen kann,

um eine umkehrbar eindeutige Repräsentation zu erreichen.

Und diese Quellenkodierverfahren, die aus diesem Quellenkodiertheorem hervorgegangen sind,

sind also die Grundlage der modernen Datenreduktionsverfahren,

wieso sie bei einem digitalen Foto nicht mit einem Bild die ganze Speicherkarte vollschießen,

sondern einige Hundert Bilder Platz haben, wieso sie digital Video übertragen können,

wieso MP3 funktioniert, wieso Telefax funktioniert und so weiter.

Das alles, wieso Mobilkommunikation funktioniert,

wo doch bei PCM 64 Kbps rauskommen, wer aber bloß 11 Kbps übertragen, wo bleibt der Rest?

Was passiert, wenn ich ZIP sende, eine Datei an eine ZIP komprimierte, wo bleiben die Daten?

Vorher sind es Binärdaten, danach sind es Binärdaten und das ist bloß ein Viertel so groß.

Was passiert da eigentlich?

Für alle diese Verfahren ist das Quellenkodierverfahren die Grundlage.

Und wie geht das Vorgehen? Wie kann man das wirklich machen?

Also man hat eine Informationsquelle, hat hier diese Symbole, die haben eine gewisse Entropie

und dann baut man einen Quellencoder, einen Englisch-Encoder,

übrigens ein Code bitte immer mit C schreiben, steht zwar im Duden auch mit K,

aber dann müssen Sie dann bloß noch das D in ein T verwenden, dann haben Sie also ganz was anderes,

wenn Sie es mit K schreiben.

Okay, bitte immer mit C.

Und im Englischen ist es für ein Coding die Hincodierung und Decoding das Decodieren dann, das Umwandeln.