Informatik KI – Sprachmodelle und Tokenisierung
Sprachmodelle wie GPT basieren auf Transformer-Architekturen und Tokenisierung. Nach dem Lernen dieser Karten kennst du die Funktionsweise von Attention, Embeddings und wie Text in numerische Repräsentationen umgewandelt wird – essenziell für NLP-Prüfungen und Praxisprojekte.
Lernziele
Was du in dieser Lektion lernst
- Was ist ein Large Language Model (LLM)?
- Welche Funktion hat die Tokenisierung in LLMs?
- Wie funktioniert Byte Pair Encoding (BPE) bei der Tokenisierung?
- Was ist der Unterschied zwischen Word-Level und Subword-Tokenisierung?
Lerntipp
Visualisiere den Attention-Mechanismus als gewichtete Verbindungen zwischen Token-Positionen – zeichne für einen Beispielsatz die Attention-Weights einmal von Hand nach.
Hinweis: Der Inhalt dieser Seite wurde mit einem KI-Modell erzeugt und nicht von Fachmenschen geprüft. Nutze die Karten als Lernhilfe und gleiche medizinische oder rechtliche Aussagen mit deinen Unterlagen ab.
Karteikarten
Alle 15 Lernkarten
Tippe auf eine Karte, um die Antwort aufzudecken
Häufige Fragen
Die wichtigsten Fragen zu Informatik KI – Sprachmodelle und Tokenisierung
- Was ist ein Large Language Model (LLM)?
- Ein neuronales Netz, das auf riesigen Textkorpora trainiert wurde, um die Wahrscheinlichkeitsverteilung des nächsten Tokens vorherzusagen.
- Welche Funktion hat die Tokenisierung in LLMs?
- Sie zerlegt Rohtext in diskrete Einheiten (Tokens), die dem Modell als numerische IDs zur Verarbeitung dienen.
- Wie funktioniert Byte Pair Encoding (BPE) bei der Tokenisierung?
- BPE fusioniert iterativ die häufigsten Zeichenpaare zu neuen Tokens, bis eine vordefinierte Vokabulargröße erreicht ist.
- Was ist der Unterschied zwischen Word-Level und Subword-Tokenisierung?
- Word-Level nutzt ganze Wörter als Tokens, Subword (z. B. BPE) zerlegt seltene Wörter in bekannte Teilstücke – robuster bei OOV-Wörtern.
- Welche Kernkomponenten hat die Transformer-Architektur?
- Encoder-Decoder-Struktur mit Self-Attention, Feed-Forward-Layern, Residual Connections, Layer Normalization und Positional Encoding.
Warum Atrio?
- FSRS-5 Spaced Repetition
- Der Algorithmus plant jede Wiederholung anhand deiner eigenen Lernhistorie und stellt Karten kurz bevor du sie vergisst – das reduziert unnötige Wiederholungen.
- KI-Import
- Notizen, Skripte und PDFs in Sekunden in Lernkarten verwandeln – genau wie diese Seite automatisch entsteht.
- Prüfungsplanung
- Termine hinterlegen und Atrio berechnet rückwärts, wie viele Karten du pro Tag lernen musst – ohne Stress.
Interaktiv lernen
Diese 15 Karten jetzt interaktiv in der Atrio-App lernen
Atrio zeigt dir jede Karte dann, wenn du sie fast vergessen hättest – damit bleibt genau das hängen, was du lernst.
Starter-Plan kostenlos – keine Kreditkarte erforderlich.