7 - Informationstheorie [ID:4908]
50 von 962 angezeigt

Dieser Audiobetrag wird von der Universität Erlangen-Nürnberg präsentiert.

Ein bisschen rekapitulieren, weil es fast eine Woche her ist,

um wieder wissen zu wissen, was wir getan haben.

Wir machen Kodierung, um Daten möglichst komprimiert darzustellen, Datenkompression,

Redundanzreduktion, Nachricht auf die pure Information zu zusammendrücken.

Und nachdem wir uns mit Codes mit variabler Wortlänge beschäftigt haben, haben wir duale

dazu gemacht, Codes mit variabler Quellenwortlänge, aber fixer Codewortlänge.

Und alles geht genau auf den Kopf gestellt im Vergleich zu vorher.

Und die Tunstal-Codierung ist also das duale Vorgehen, Tunstal-Codierung zum Hafenmann-Codierung.

Anstatt die Knoten mit den niedrigsten Wahrscheinlichkeiten zusammenzuführen, werden die Knoten mit

der höchsten Wahrscheinlichkeit expandiert.

Aber jetzt für die Quellenwörter.

Damit die Mittlere Quellenwortlänge möglichst groß ist, damit möglichst viele Quellensymbole

auf ein Codewort abgebildet werden können.

Dann haben wir das noch verallgemeinert zu einem, ja, das sollte ich vielleicht noch dazusagen,

auch dafür kann man das Quellencodierungstheorien beweisen, ohne dass wir es getan haben.

Man kann verdichten bis zur Entropie, eventuell umgerechnet auf ein nicht binäres Alphabet,

dann heißt es Havonix geteilt durch LDMC, aber nicht darunter.

Also die obere Schranke ist die Entropie plus ein bisschen was und das bisschen was hängt

ab von der Codewortlänge, eins durch die Codewortlänge.

Das heißt, wenn ich die Codewortlänge sehr groß mache, ist das bisschen was sehr klein.

Und die untere Grenze ist die Entropie selbst.

Also diese beiden Schranken mit wachsender Codewortlänge wachsen die zusammen.

Das sollte ich mal noch sagen, ja.

Also das ist exakt das selbe Quellencodierungstheorien, das wir hatten vorher.

Dann haben wir die universelle Universal Coding von Achlempl und Zipf gemacht, wo das Quellenwortbuch,

also die Liste der Quellenwörter vorher nicht festlegt, sondern man die einfach durch Beobachtung

führt.

Und das, was kommt, weil es kommt, das ist typisch für diese Quelle angesehen und deshalb

so ins Quellenbuch reingeschrieben.

Und damit man Sende- und Empfangsseite dieses Quellenwortbuch synchron wachsen lassen kann,

ohne dass man es extra übertragen muss, wird immer an ein Codewort das nächste Symbol

noch angehängt und der ganze String, also die Decodierung von dem Codewort und das angehängte

Abschlusssymbol ist das nächste Quellenwort, das in die nächste Freistelle geht.

Und wenn einmal alle Fortsetzungen schon da sind, dann kann man Zeilen überschreiben.

Aber dafür gibt es auch eine parallelle Regel für den Sender und den Empfänger, sodass

die immer synchron bleiben.

Und wenn das Quellenwortbuch voll ist, dann machen wir einfach weiter, so wie vorher,

ohne dass man was Neues reinschreiben kann, weil nichts mehr Platz hat.

Und weil es sein kann, dass diese Quelle momentan, wie wir das Quellenwortbuch gemacht haben,

nicht sehr typisch reagiert hat, schmeißt man dieses manchmal um und sagt, oh Gott,

jetzt haben wir mal eine Megabyte codiert, jetzt probieren wir es einmal mit einem neuen

Quellenwortbuch.

Dann sind wir zur Runlängs-Codierung gekommen.

Runlängs-Codierung, das geht vorwiegend nur für binäre Quellen, wir machen es nur für

binäre Quellen und wir sagen einfach anstatt 001100 und so weiter, sagen wir einfach, und

der Abstand bis zur nächsten 1 ist so groß.

Und der Abstand bis zur nächsten 1 ist so groß.

Und damit kriegen wir alle natürlichen Zahlen als Quellensymbole, als Ersatz-Quellensymbole,

nämlich die Zahl des Abstands bis zur nächsten 1, von der letzten 1 plus 1, die 1 selber

Teil einer Videoserie :

Zugänglich über

Offener Zugang

Dauer

01:25:58 Min

Aufnahmedatum

2015-05-05

Hochgeladen am

2015-05-05 15:21:45

Sprache

de-DE

Grundlegende Definitionen: Information, Entropie, wechselseitige Information. Quellencodierung zur Datenreduktion: Quellencodierungstheorem, verschiedene verlustfreie Kompressionsverfahren für diskrete Quellen nach Huffman, Tunstall und Lempel-Ziv, Entropie und Codierung für gedächtnisbehaftete Quellen, Markovketten. Kanalcodierung zur zuverlässigen Übertragung über gestörte Kanäle: Kanalmodelle, Kanalkapazität, Kanalcodierungstheorem, Abschätzungen der Fehlerwahrscheinlichkeit, cut-off-Rate, Gallager-Fehlerexponent.

Einbetten
Wordpress FAU Plugin
iFrame
Teilen