13 - Informationstheorie [ID:5041]
50 von 707 angezeigt

Dieser Audiobeitrag wird von der Universität Erlangen-Nürnberg präsentiert.

Ja, wollen wir beginnen. Guten Morgen zu den Vermutungszüge.

Drei Leute, glaube ich, habe ich gestern in Falle gestellt, die sind gekommen, obwohl nichts los war.

Ich möchte mich herzlich entschuldigen dafür. Ich war auch volles Beweis, die überzeugte an Dienst, das ganz normale.

Normaler Unterricht und normales Studium.

Aber dann habe ich meine Assistenten und auch die Vorschriften der Universität

eines besser reprägiert. Und ich habe die Vorschriften für die Studenten mit denen für die Bediensteten verwechselt.

Also in meiner Anfangszeit hier in Erlangen, in den ersten zehn Jahren, war die ganze Bergwoche frei.

Da war kein Baustudium. Da bin ich dann mit meiner Frau an den Kindern in den Urlaub gefahren.

Am Pfingsten ist viele Leute da. Und irgendwann, so schön zu sehen, war das abgeschafft.

Und der hat alle Dienstag überlebt. Und das war mir immer gut.

Also heute machen wir weiter. Ich hoffe, die anderen haben die Mail hochgelegt, habe ich erreicht.

Insofern ist es gut, wenn man angemeldet ist und man was mitteilen kann.

Irgendjemand hat mich letztes Mal nach der Prüfungsnummer gefragt. Das habe ich so mal hingeschrieben.

Wir waren beim Thema Kanalkodierungstheorie. Und wir haben begonnen mit der Umkehrung des Kanalkodierungstheorien.

Das werden wir heute noch ein bisschen weitertreiben und dann in die Beweise des Kanalkodierungstheorien eintreten.

Wir haben begonnen mit der Fanochen Ungleichung, die besagt, dass die M-stufige Entropiefunktion,

der Symbolfehlerwahrscheinlichkeit von Ende zu Ende bei irgendeinem Übertragungssystem.

Auf jeden Fall größer oder gleich die verbleibende Unsicherheit über den Kanaleingang, wenn der Kanalausgang beobachtet ist.

Und weil die M-stufige Entropiefunktion eine positive Funktion ist,

weil die irgendwo aus dem Ursprung mit einer Streigung herauskommt, heißt, wenn die Funktion größer ist als Null,

dann ist auch die Symbolfehlerwahrscheinlichkeit größer.

Das heißt, solange die bedingte Entropie nicht verschwindet, da keine verbleibende Unsicherheit ist, sind auch Fehler nicht vermeidbar.

Was ziemlich logisch ist, haben wir dann bewiesen.

Damit sieht man aber auch Folgendes, wenn man sieht, diese bedingte Entropie für x gegeben y ist die wechselseitige Information minus,

nein, ist die Entropie am Eingang minus der wechselseitige Information.

Und dann sieht man, wenn die wechselseitige Information kleiner ist als die Entropie am Eingang, dann sind Fehler unvermeidbar.

Das heißt, wenn ich das Rote vorne mehr reinstopfe als durchgeht, dann muss ich etwas verschütten.

So einfach ausgedrückt.

Dann haben wir die Umkehrung des Kanalkodierungstheoriums bewiesen und haben dann diesen Satz festgestellt.

Jensei, Shiyu und alles mögliche haben wir angewendet, um dann zu sehen, wir sind aufgegangen von einem Kanalkodierungssystem.

Ich muss nochmal zurück.

Wir bilden also diese Quellensymbole auf Kodiwörter ab.

Der Kanal ist gedächtnislos.

Die Zeichnivariante bildet die einzelnen Symbole am Eingang auf Ausgangssymbole ab.

Der Decoder wieder zurück, dekodiert anhand des Ausgangswortes zu einem geschätzten Quellenwort.

Dann haben wir also Dataprozess in Theorem angewendet und so weiter und so fort.

Und finden am Schluss also die Aussage, dass 1 minus C durch R und R ist die Koderate, wie viel Bit pro Symbol schiebe ich in den Kanal rein.

Also wie viel Bitinformation schiebe ich pro einem Eingangsymbol in den Kanal rein.

Dass das kleiner gleiche der binären Entropiefunktion der Bitfehlerwahrscheinlichkeit von Ende zu Ende ist.

Und man sieht, solange das R größer C ist, wird hier weniger als 1 abgezogen.

Damit bleibt etwas positives und damit bleibt eine Bitfehlerwahrscheinlichkeit.

Und damit haben wir also den zentralen Satz mit einer Kanalkodierung, kann man nicht erreichen, dass Ende zu Ende die Fehlerwahrscheinlichkeit verschwindet,

wenn die Entropie am Kanaleingang, die Koderate, die Kapazität übersteigt.

Also wenn man zu viel reinschiebt, dann geht es daneben.

Und das jetzt, was wir zuerst mit der scherrnischen Ungleichheit für einen Kanal so beschrieben haben,

haben wir jetzt inklusive eines Kanalcoders und eines Kanaldecoders von Ende zu Ende bewiesen.

Ja, das wollen wir noch ein bisschen interpretieren, dieses Ergebnis.

Also wir haben eine untere Schranke, weil ja die E2-Funktion, die binäre Entropiefunktion eine positive Funktion ist.

Und zwischen 0 und 0,5 können wir es auch invertieren, da ist ja oben 1.

Teil einer Videoserie :

Zugänglich über

Offener Zugang

Dauer

01:32:53 Min

Aufnahmedatum

2015-05-27

Hochgeladen am

2015-05-27 14:33:04

Sprache

de-DE

Grundlegende Definitionen: Information, Entropie, wechselseitige Information. Quellencodierung zur Datenreduktion: Quellencodierungstheorem, verschiedene verlustfreie Kompressionsverfahren für diskrete Quellen nach Huffman, Tunstall und Lempel-Ziv, Entropie und Codierung für gedächtnisbehaftete Quellen, Markovketten. Kanalcodierung zur zuverlässigen Übertragung über gestörte Kanäle: Kanalmodelle, Kanalkapazität, Kanalcodierungstheorem, Abschätzungen der Fehlerwahrscheinlichkeit, cut-off-Rate, Gallager-Fehlerexponent.

Einbetten
Wordpress FAU Plugin
iFrame
Teilen