Dieser Audiobeitrag wird von der Universität Erlangen-Nürnberg präsentiert.

Das ist heute tatsächlich schon das letzte Übungsblatt, obwohl wir noch ein bisschen

Zeit haben, natürlich zwei Wochen eigentlich. Was dann die nächste Zeit kommt, darauf werde ich

dann später nochmal drauf eingehen, wenn wir damit fertig sind. Worum geht es heute nochmal?

Die erste Aufgabe wird sich nochmal um die Differenzielle Entropie drehen und darum

nochmal zu zeigen, wie sich die eigentlich verändert, wenn sich die Wahrscheinlichkeitssichterfunktion,

die dem ganzen zugrunde liegt, verändert. Und die zweite Aufgabe wird sich dann um den sogenannten

Multiple Access Channel, also den Mehrbenutzerkanal drehen, bei dem mehrere verschiedene Benutzer

einem gemeinsamen Empfänger Daten zusenden wollen. Also worum geht es in der ersten Aufgabe?

Wir haben eine Wahrscheinlichkeitsdichterfunktion gegeben bzw. wir haben eigentlich eine Schar von

Wahrscheinlichkeitsdichterfunktionen gegeben, die jetzt hier parametrisiert sind durch dieses n

bzw. dann das alpha, wobei die beiden voneinander abhängen. Und die Frage ist, wie verhalten sich

die eigentlich, wenn man hier die verschiedenen Werte ändert. Man kann relativ einfach sehen,

das n steht hier im Exponenten. Das bedeutet, was passiert also, wenn ich n nach oben drehe,

dann wird das Ganze irgendwie von n hoch 0, wäre ja eine Gleichverteilung, wird sich das Ganze

irgendwie in irgendeiner Form immer steiler nach oben zusammen laufen lassen. Ich habe es auch mal

als Plot kurz da. Genau, also für n gleich 0 haben wir einfach nur eine Gleichverteilung im

Intervall von minus Qmax bis Qmax. Und wenn ich n jetzt nach oben drehe, dann wird das Ganze eben

immer steiler nach um den Mittelpunkt herum. Das heißt, der Maximalwert geht nach oben,

gleichzeitig lässt natürlich die Wahrscheinlichkeit an den Seiten, an den Rändern bei Qmax nach,

bzw. der Wert der Wahrscheinlichkeitsdichterfunktion wird halt immer geringer. Die Frage,

die sich jetzt hier bei Aufgabe b ergibt, angenommen Qmax sei fix, also die Breite

der gesamten Wahrscheinlichkeitsdichterfunktion sei fix, aber wir ändern n. Was passiert denn

dann eigentlich mit der differenzieren Entropie H von x? Hier ist nochmal der Plot und die Frage

ist jetzt, hat jemand schon eine Idee, kann man schon was dazu sagen? Intuitiv? Also letztendlich,

ich habe es ja letztes Mal schon mal erzählt, die differenzielle Entropie bietet uns nicht,

wie das bei der normalen Entropie der Fall ist, einen fixen Wert an, aber als Vergleichwert ist

sie durchaus nutzbar. Das bedeutet, was wir hier tatsächlich machen können, ist, wir können

vermuten, dass mit steigendem n die differenzielle Entropie abnehmen wird. Warum? Das habe ich

letztes Mal schon mal erklärt. Die Wahrscheinlichkeitsmasse bündelt sich einfach stärker um den

um den Nullpunkt, um den Mittelwert und damit lässt dann im Prinzip die Unsicherheit auch in

gewisser, wird in gewisser Form niedriger in diesem Beispiel. Wir können das jetzt auch mal

hier natürlich einfach ausrechnen. Also die Formel für die, die Formel für die differenzielle

Entropie denke ich ist klar, da passiert nichts großartiges. Minus-Wahrscheinlichkeitsdichte-Funktion

mal Logarithmus-Wahrscheinlichkeitsdichte-Funktion und dann wird halt darüber integriert. In diesem

Beispiel haben wir natürlich wieder eine Wahrscheinlichkeitsdichte-Funktion, die

nicht von minus unendlich bis plus unendlich geht, sondern nur von minus Qmax bis Qmax,

das heißt das können wir zuerst schon mal ausnutzen. Ich lege nochmal die Funktion hier

auf. Das heißt das können wir schon mal ausnutzen und was wir natürlich außerdem ausnutzen

können, unabhängig von N war die Wahrscheinlichkeitsdichte-Funktion symmetrisch. Wir haben hier einen Betrag

von Q, das heißt wir machen wieder das gleiche wie letzte Woche. Wir integrieren nur über

die eine Hälfte, nehmen das ganze mal zwei und daraus ergibt sich dann eben, dass wir

nicht über den Betrag integrieren müssen mehr.

Moment, ganz kurz, habe ich jetzt hier die richtige?

Also wir gehen von 0 bis Qmax und dann setzen wir die Formel ein. Wir setzen direkt mal hier

das Alpha ein. Wir haben jetzt neben Bedingungen Qmax gleich 1, kann man hier also auch gleich

einsetzen. Macht das Ganze ein bisschen übersichtlicher. Also Alpha vorne weg, das heißt N plus 1

halbe und dann Qmax ist wieder 1, 1 minus Q hoch N. Der Betrag ist weg. Logarithmus von

dem ganzen nochmal. Genau, das heißt das ist das Integral mit dem wir uns beschäftigen

müssen. Die zwei kann man erstmal kürzen, sieht man sofort. Ansonsten bietet sich bei