Informatik Grundlagen – Informationstheorie und Entropie
Karteikarten zum Thema „Informatik“ · 15 Karten · von atrio. Beispiele: Was misst die Entropie H(X) einer diskreten Zufallsvariablen? · Wie lautet die Shanno…
Karten
15 KartenWas misst die Entropie H(X) einer diskreten Zufallsvariablen?
Rückseite
Die Entropie misst die mittlere Unsicherheit oder den durchschnittlichen Informationsgehalt pro Symbol in Bit.
Wie lautet die Shannon-Entropie-Formel für eine diskrete Verteilung?
Rückseite
H(X) = -Σ p(xᵢ) log₂ p(xᵢ), Summe über alle möglichen Werte xᵢ der Zufallsvariablen X.
Wann erreicht die Entropie ihr Maximum bei gegebener Alphabetgröße?
Rückseite
Bei Gleichverteilung aller Symbole: H_max = log₂ n für n gleichwahrscheinliche Ereignisse.
Was besagt der Quellcodierungssatz (Shannon 1948)?
Rückseite
Eine Quelle mit Entropie H lässt sich verlustfrei auf durchschnittlich H Bit pro Symbol komprimieren, aber nicht darunter.
Wie funktioniert das Huffman-Codierungsverfahren prinzipiell?
Rückseite
Häufige Symbole erhalten kurze Codewörter, seltene lange – durch binären Baum von unten nach oben konstruiert.
Was ist die bedingte Entropie H(Y|X)?
Rückseite
Die mittlere Restunsicherheit von Y, wenn X bekannt ist: H(Y|X) = Σ p(x) H(Y|X=x).
Wie definiert sich die wechselseitige Information I(X;Y)?
Rückseite
I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X); misst geteilte Information zwischen X und Y.
Was besagt der Kanalcodierungssatz für einen diskreten gedächtnislosen Kanal?
Rückseite
Bei Rate R < Kapazität C existiert ein Code mit beliebig kleinem Fehler; für R > C nicht.
Wie berechnet man die Kapazität C eines binären symmetrischen Kanals mit Fehlerwahrscheinlichkeit p?
Rückseite
C = 1 - H₂(p) = 1 + p log₂ p + (1-p) log₂ (1-p), wobei H₂ die binäre Entropie ist.
Was ist der Unterschied zwischen Quell- und Kanalcodierung?
Rückseite
Quellcodierung entfernt Redundanz (Kompression), Kanalcodierung fügt kontrollierte Redundanz hinzu (Fehlerkorrektur).
Was bedeutet die Kullback-Leibler-Divergenz D_KL(P||Q)?
Rückseite
Erwarteter zusätzlicher Bitbedarf bei Kodierung mit Verteilung Q statt der wahren Verteilung P; immer ≥ 0.
Wie definiert sich die Kreuzentropie H(P, Q)?
Rückseite
H(P, Q) = -Σ p(x) log₂ q(x); mittlere Codelänge bei Verwendung von Q für Quelle P.
Was besagt das Asymptotische Equipartitionsprinzip (AEP)?
Rückseite
Für große n liegen fast alle Sequenzen in der typischen Menge mit Wahrscheinlichkeit ≈ 2^{-nH} und Größe ≈ 2^{nH}.
Was ist Redundanz R einer Quelle relativ zum Alphabet?
Rückseite
R = 1 - H(X)/log₂ |X|; Anteil der ungenutzten Kapazität durch ungleichmäßige Symbolverteilung.
Warum ist die Kette H(X,Y) = H(X) + H(Y|X) nützlich?
Rückseite
Sie zerlegt gemeinsame Entropie in Marginal- und bedingte Entropie – Basis für Mutual Information und Datensatzverarbeitung.