Informatik KI – Sprachmodelle und Tokenisierung
Sprachmodelle wie GPT basieren auf Transformer-Architekturen und Tokenisierung. Nach dem Lernen dieser Karten kennst du die Funktionsweise von Attention, Embeddings und wie Text in numerische Repräsentationen umgewandelt wird – essenziell für NLP-Prüfungen und Praxisprojekte.
Lernziele
Was du in dieser Lektion lernst
- Was ist ein Large Language Model (LLM)?
- Welche Funktion hat die Tokenisierung in LLMs?
- Wie funktioniert Byte Pair Encoding (BPE) bei der Tokenisierung?
- Was ist der Unterschied zwischen Word-Level und Subword-Tokenisierung?
Lerntipp
Visualisiere den Attention-Mechanismus als gewichtete Verbindungen zwischen Token-Positionen – zeichne für einen Beispielsatz die Attention-Weights einmal von Hand nach.
Hinweis: Der Inhalt dieser Seite wurde mit einem KI-Modell erzeugt und nicht von Fachmenschen geprüft. Nutze die Karten als Lernhilfe und gleiche medizinische oder rechtliche Aussagen mit deinen Unterlagen ab.
Karteikarten
Alle 15 Lernkarten
Tippe auf eine Karte, um die Antwort aufzudecken
Häufige Fragen
Die wichtigsten Fragen zu Informatik KI – Sprachmodelle und Tokenisierung
- Was ist ein Large Language Model (LLM)?
- Ein neuronales Netz, das auf riesigen Textkorpora trainiert wurde, um die Wahrscheinlichkeitsverteilung des nächsten Tokens vorherzusagen.
- Welche Funktion hat die Tokenisierung in LLMs?
- Sie zerlegt Rohtext in diskrete Einheiten (Tokens), die dem Modell als numerische IDs zur Verarbeitung dienen.
- Wie funktioniert Byte Pair Encoding (BPE) bei der Tokenisierung?
- BPE fusioniert iterativ die häufigsten Zeichenpaare zu neuen Tokens, bis eine vordefinierte Vokabulargröße erreicht ist.
- Was ist der Unterschied zwischen Word-Level und Subword-Tokenisierung?
- Word-Level nutzt ganze Wörter als Tokens, Subword (z. B. BPE) zerlegt seltene Wörter in bekannte Teilstücke – robuster bei OOV-Wörtern.
- Welche Kernkomponenten hat die Transformer-Architektur?
- Encoder-Decoder-Struktur mit Self-Attention, Feed-Forward-Layern, Residual Connections, Layer Normalization und Positional Encoding.
Warum Atrio?
- FSRS-5 Spaced Repetition
- Der Algorithmus plant jede Wiederholung anhand deiner eigenen Lernhistorie und stellt Karten kurz bevor du sie vergisst – das reduziert unnötige Wiederholungen.
- KI-Import
- Notizen, Skripte und PDFs in Sekunden in Lernkarten verwandeln – genau wie diese Seite automatisch entsteht.
- Prüfungsplanung
- Termine hinterlegen und Atrio berechnet rückwärts, wie viele Karten du pro Tag lernen musst – ohne Stress.
Weiterlernen
Mehr Lernkarten aus Informatik
- Informatik KI – Transformer und Attention15 Karten
- Informatik KI – Rekurrente Netze und LSTM14 Karten
- Informatik KI – Reinforcement Learning13 Karten
- Informatik KI – Overfitting und Regularisierung14 Karten
- Informatik KI – Neuronale Netze und Aktivierungen15 Karten
- Informatik KI – K-Means und Clustering15 Karten
- Informatik KI – Entscheidungsbäume und Random Forest14 Karten
- Informatik KI – Convolutional Neural Networks15 Karten
- Informatik KI – Backpropagation und Gradient Descent14 Karten
- Informatik KI – Logistische Regression14 Karten
- Informatik Webentwicklung – State Management und Hooks15 Karten
- Informatik Webentwicklung – Server-Side Rendering und SEO15 Karten
- Informatik Webentwicklung – REST-APIs und HTTP15 Karten
- Informatik Webentwicklung – React Grundlagen und Komponenten15 Karten
- Informatik Webentwicklung – JavaScript Events und DOM14 Karten
- Informatik Webentwicklung – GraphQL Grundlagen14 Karten
- Informatik Webentwicklung – Flexbox und Grid15 Karten
- Informatik Webentwicklung – Browser-APIs und Web Storage15 Karten
- Informatik Sicherheit – TLS-Handshake im Detail15 Karten
- Informatik Sicherheit – Symmetrische Verschlüsselung13 Karten
- Informatik Sicherheit – SQL-Injection und Schutz14 Karten
- Informatik Sicherheit – Passwörter und Authentifizierung15 Karten
- Informatik Sicherheit – OWASP Top 1015 Karten
- Informatik Sicherheit – OAuth und Autorisierung14 Karten
Interaktiv lernen
Diese 15 Karten jetzt interaktiv in der Atrio-App lernen
Atrio zeigt dir jede Karte dann, wenn du sie fast vergessen hättest – damit bleibt genau das hängen, was du lernst.
Starter-Plan kostenlos – keine Kreditkarte erforderlich.
Oder: E-Mail für Updates hinterlassen
Updates erhalten