Dieser Audiobeitrag wird von der Universität Erlangen-Nürnberg präsentiert.

Ja, jetzt können wir beginnen. Guten Morgen, schön, dass Sie da sind zur Informationstheorie.

Wir haben uns mit gekoppelten Quellen beschäftigt und so eine bedingte Entropie definiert und dann die Kettenregel abgeleitet.

Dann sind wir auf die Idee gekommen, nachzufragen, wie viel lernt man denn über eine Variable, indem man eine andere anschaut.

Und das wird über die wechselseitige Information ausgedrückt. Und wie viel wird die Unsicherheit über den Ausgang eines Zufallsexperiments verringert, indem ich nicht das Zufallsexperiment beobachte, sondern ein anderes Zufallsexperiment, das aber damit statistisch gekoppelt ist.

Und schließlich jetzt dann die Entropie gedächtnisbehafter Quellen. Also bei den beiden Quellen waren halt nur ein Symbol und ein anderes miteinander verkettert. Jetzt sind alle in der Reihe verkettert.

Und jeder, jedes nachfolgende Symbol ist abhängig von den vorhergehenden Symbolen. Okay. Und wie können wir dort die Entropie berechnen?

Wir machen folgendes. Wir bilden einfach lange Blöcke von Symbolen. Die sind hier so der Länge L und sagen, das sind Hypersymbole.

Dann wird in dieser Kette natürlich die statistische Bindung unter den Symbolen berücksichtigt. So wie sie halt gekommen sind.

Oder wie diese Verbundwahrscheinlichkeit für einen Block das ausdrückt. Da steckt natürlich die statistische Abhängigkeit hin.

Was wir aber im ersten Moment vernachlässigen ist, dass zwischen den Blöcken hier die Bindungen eigentlich rüberreichen.

Und wir machen sozusagen einen artificiellen brutalen Schnitt und sagen, okay, das ist statistisch unabhängig.

Und dann können wir einfach sagen, ja gut, Wahrscheinlichkeit für ein Hypersymbole, für einen Block, mal Logarithmus, diese Wahrscheinlichkeit und Minuszeichen, das ist die Entropie für den Block.

Und jetzt normiere ich das um auf das einzelne Symbol, indem ich durch die Blocklänge teile.

Und dann haben wir hier definiert ein HL von X und der Parameter L ist sozusagen die Länge des Blocks, der berücksichtigt worden ist.

Und wenn man diesen Fehler nicht machen will, die Grenzen nicht zu beachten, dann muss man einfach den Block lang genug machen.

Weil dann gibt es keine Grenzen mehr, dann besteht die ganze Nachricht auf einen Block. Und dann stimmt es.

Und deshalb definieren wir, das ist eine Definition praktisch, die Entropie für eine gedächtnisbehaftete Quelle, das ist eigentlich die ganz normale Entropie.

Manche sagen noch, dass, also klammern drüber, um zu sehen, das ist aus der Sequenz berechnet, aus der langen Folge.

Aber eigentlich ist es unnötig, dieses zusätzliche Kennzeichnen.

Wenn ich also einfach die Blocklänge gegen unendlich gehen lasse von diesem HL, das ist eine nette Definition, hat nichts mit Praxis zu tun,

weil der Aufwand steigt exponentiell mit der Länge, so etwas zu berechnen. Klar?

Und wenn das unendlich werden soll, dann ist das exponentiell unendlicher Aufwand. Das ist nur einmal eine schöne Definition.

Ich glaube über das Zweite habe ich vergessen zu sprechen, mit der Entropie Rate.

Habe ich das gesagt? Weiß ich nicht mehr.

Manche Bücher, eigentlich die meisten, sprechen bei der gedächtnisbehafteten Quelle nicht mehr von der Entropie, sondern von der Entropie Rate.

Und ich habe es nie verstanden warum. Weil das ist die Entropie.

Entropie Rate ist eine helle weiße Farbe, also doppelt gemobbelt, weil oft wird Entropie und Rate synonym verwendet.

Rate in der Informationstheorie heißt einfach, wie viel bit pro was. Pro Zeit, pro Symbol, pro Kanalbenutzung und so weiter.

Das sind immer Raten. Sie kennen es ja, soweit Sie in der Nahrung technisch System bewahren, wie wir den Begriff Rate handhaben.

Core Rate, Rate der Modulation und so weiter. Wie viel Bitinformation pro etwas.

Und Entropie ist ja auch wie viel Bitinformation pro Symbol. Gibt die Quelle ab.

Und sofern ist Entropie Rate zweimal das gleiche.

Ich verwende es nicht, aber ich wollte es bloß gesagt haben.

Dann sind wir stecken geblieben mitten in dem Theorem Memory decreases Entropie.

Völlig eigentlich suggestiv klar. Wir haben gelernt, Satz 2.2, dass Seiteninformation die Entropie erniedrigt oder zumindest nicht erhöhen kann.

Also die kann durch Zusatzwissen niemals anwachsen. Und gedächtnisbehafte Quellen heißt ja, ich kann aus der Vergangenheit erfolgreich auf die Zukunft vorhersähen, weil ja Abindungen sind.

Ich kann ein bisschen die Zufälligkeit des nächsten Symbols abgemindert werden, wenn ich die Vergangenheit weiß, weil statistische Bindungen da sind. Ist klar.

Und damit wird natürlich durch ein Gedächtnis die Entropie einer Quelle verringert.

Und das kann man dadurch ausdrücken, je länger wir diese Blöcke machen, wenn wir das gegen unendlich gehen lassen, um dann die Entropie zu berechnen, dann wird das immer kleiner.

Nein, das kann man nicht sagen. Es wird auf keinen Fall größer.

Ok. Es ist kleiner gleich. Und den Beweis, in dem sind wir hängen geblieben, da haben wir noch einen Hilfsatz bewiesen, nämlich, dass dieses HL für die Blöcke der Länge L, diese Entropie, größer gleich ist als die bedingte Entropie für das aktuelle Symbol im älten Schritt, wenn ich die vorhergehenden L-1 schon beobachtet habe.

Die bedingte Entropie. Klar? Und das ist niemals kleiner. Und das haben wir bewiesen über die Kettenregel.

Es gibt zwei große Methoden in der Informationstheorie, Sätze zu beweisen. Das eine ist diese einfache Ungleichung, dass der Logorythmus Ln x kleiner x-1. Und der zweite ist die Kettenregel.

Man kann die Kettenregel immer zweifach anwenden, so entwickeln oder anders entwickeln, dann setzt man sie irgendwie gleich und dann kommt irgendein Beweis raus. Das sind immer dieselben Methoden im Endeffekt.

Mit diesem Hilfsatz können wir jetzt unseren Satz beweisen. Das ist also jetzt unsere Definition für HL. Und da machen wir jetzt zuerst den kleineren Block bis L-1 und dann die bedingte Entropie.

Okay. Gut. So schrauben wir das auf. Dann können wir sagen, wenn wir diesen Term durch L-1 teilen würden, dann hätten wir das HL-1. Weil die Blocklänge ist dann L-1.

Und dann müssen wir durch L-1 teilen. Deshalb erweitern wir hier mit dem Quotienten L-1 durch L-1. Den Nenner nehmen wir hier dazu und kriegen den Term. Und der Zähler bleibt hier stehen und der Nenner 1 durch L bleibt stehen.

Bleibt also dieser Term hier stehen. Den 1 durch L nehmen wir hier davor. Dann haben wir also das hier davor stehen. Okay. Soweit ist klar. Jetzt nehmen wir unseren Hilfsatz da oben, dass das Ding hier größer ist als das. Weil genau das steht hier da.

Sehen Sie das? Also setzen wir hier etwas Größeres ein. Und damit haben wir hier ein... Die linke Seite ist kleiner gleich. Weil wir etwas Größeres einsetzen.