Informatik Grundlagen – Informationstheorie und Entropie
Informationstheorie quantifiziert Information mathematisch und ist Grundlage für Kompression, Kryptografie und Kommunikation. Nach diesen Karten berechnest du Entropie, verstehst Quell- und Kanalcodierungssätze und wendest Huffman-Codierung an.
Lernziele
Was du in dieser Lektion lernst
- Was misst die Entropie H(X) einer diskreten Zufallsvariablen?
- Wie lautet die Shannon-Entropie-Formel für eine diskrete Verteilung?
- Wann erreicht die Entropie ihr Maximum bei gegebener Alphabetgröße?
- Was besagt der Quellcodierungssatz (Shannon 1948)?
Lerntipp
Leite die Entropieformel H(X) = -Σ p(x) log p(x) selbst her – vom Überraschungswert zum Erwartungswert. Das schafft Intuition für alle weiteren Sätze.
Hinweis: Der Inhalt dieser Seite wurde mit einem KI-Modell erzeugt und nicht von Fachmenschen geprüft. Nutze die Karten als Lernhilfe und gleiche medizinische oder rechtliche Aussagen mit deinen Unterlagen ab.
Karteikarten
Alle 15 Lernkarten
Tippe auf eine Karte, um die Antwort aufzudecken
Häufige Fragen
Die wichtigsten Fragen zu Informatik Grundlagen – Informationstheorie und Entropie
- Was misst die Entropie H(X) einer diskreten Zufallsvariablen?
- Die Entropie misst die mittlere Unsicherheit oder den durchschnittlichen Informationsgehalt pro Symbol in Bit.
- Wie lautet die Shannon-Entropie-Formel für eine diskrete Verteilung?
- H(X) = -Σ p(xᵢ) log₂ p(xᵢ), Summe über alle möglichen Werte xᵢ der Zufallsvariablen X.
- Wann erreicht die Entropie ihr Maximum bei gegebener Alphabetgröße?
- Bei Gleichverteilung aller Symbole: H_max = log₂ n für n gleichwahrscheinliche Ereignisse.
- Was besagt der Quellcodierungssatz (Shannon 1948)?
- Eine Quelle mit Entropie H lässt sich verlustfrei auf durchschnittlich H Bit pro Symbol komprimieren, aber nicht darunter.
- Wie funktioniert das Huffman-Codierungsverfahren prinzipiell?
- Häufige Symbole erhalten kurze Codewörter, seltene lange – durch binären Baum von unten nach oben konstruiert.
Warum Atrio?
- FSRS-5 Spaced Repetition
- Der Algorithmus plant jede Wiederholung anhand deiner eigenen Lernhistorie und stellt Karten kurz bevor du sie vergisst – das reduziert unnötige Wiederholungen.
- KI-Import
- Notizen, Skripte und PDFs in Sekunden in Lernkarten verwandeln – genau wie diese Seite automatisch entsteht.
- Prüfungsplanung
- Termine hinterlegen und Atrio berechnet rückwärts, wie viele Karten du pro Tag lernen musst – ohne Stress.
Interaktiv lernen
Diese 15 Karten jetzt interaktiv in der Atrio-App lernen
Atrio zeigt dir jede Karte dann, wenn du sie fast vergessen hättest – damit bleibt genau das hängen, was du lernst.
Starter-Plan kostenlos – keine Kreditkarte erforderlich.