Informatik KI – Overfitting und Regularisierung
Karteikarten zum Thema „Informatik“ · 14 Karten · von atrio. Beispiele: Was ist Overfitting in Machine Learning? · Wie erkennst du Overfitting an Lernkurven?
Karten
14 KartenWas ist Overfitting in Machine Learning?
Rückseite
Overfitting tritt auf, wenn ein Modell Trainingsdaten inklusive Rauschen auswendig lernt und auf neuen Daten schlecht generalisiert.
Wie erkennst du Overfitting an Lernkurven?
Rückseite
Trainings-Loss sinkt weiter, Validierungs-Loss steigt nach Minimum wieder an – Kurven divergieren deutlich.
Was beschreibt der Bias-Varianz-Tradeoff?
Rückseite
Bias-Varianz-Tradeoff beschreibt: Hohes Bias (Underfitting) vs. hohe Varianz (Overfitting) – optimales Modell balanciert beide Fehlerquellen.
Wie wirkt L2-Regularisierung (Gewichtszerfall) auf die Gewichte?
Rückseite
L2 addiert quadratische Gewichte zum Loss, drückt alle Gewichte Richtung null ohne sie exakt null zu setzen.
Wie unterscheidet sich L1-Regularisierung von L2?
Rückseite
L1 addiert Beträge der Gewichte, erzeugt spärliche Modelle mit exakt null Gewichten – eignet sich für Feature Selection.
Was bewirkt Dropout während des Trainings?
Rückseite
Dropout deaktiviert zufällig Neuronen pro Forward-Pass, erzwingt redundante Repräsentationen und reduziert Ko-Adaption der Neuronen.
Warum wird Dropout nur im Training, nicht bei Inferenz angewendet?
Rückseite
Im Training regularisiert Dropout, bei Inferenz werden alle Neuronen genutzt und Gewichte skaliert (inverted Dropout) für deterministische Vorhersagen.
Was ist Early Stopping und wie verhindert es Overfitting?
Rückseite
Early Stopping bricht Training ab, sobald Validierungs-Loss nicht mehr sinkt – verhindert Überanpassung an Trainingsdaten.
Wie beeinflusst die Batch-Normalisierung die Regularisierung?
Rückseite
Batch-Normalisierung stabilisiert Training, wirkt leicht regularisierend durch Batch-Statistiken-Rauschen, ersetzt aber keine explizite Regularisierung.
Was bedeutet Generalisierungslücke (Generalization Gap)?
Rückseite
Generalisierungslücke ist Differenz zwischen Trainings- und Validierungsfehler – große Lücke deutet auf Overfitting hin.
Wann bevorzugst du L1 gegenüber L2-Regularisierung?
Rückseite
L1 bei Feature Selection erwünscht (spärliche Gewichte), L2 bei multikollinearen Features oder wenn alle Features relevant bleiben sollen.
Wie wirkt sich Data Augmentation auf Overfitting aus?
Rückseite
Data Augmentation erweitert Trainingsdaten durch Transformationen, erhöht effektive Stichprobengröße und zwingt Modell zu invarianten Features.
Was ist der Unterschied zwischen Trainingsfehler und Testfehler?
Rückseite
Trainingsfehler misst Anpassung an Trainingsdaten, Testfehler misst Generalisierung auf unbekannte Daten – Testfehler ist entscheidend.
Wie wählst du den Regularisierungsparameter Lambda?
Rückseite
Lambda per Cross-Validation (z. B. Grid Search) optimieren: zu klein = Underfitting, zu groß = Overfitting, Optimum minimiert Validierungsfehler.