Mathematik Stochastik – Maximum-Likelihood-Schätzung
Karteikarten zum Thema „Mathematik“ · 14 Karten · von atrio. Beispiele: Was ist die Likelihood-Funktion L(θ|x)? · Worin unterscheidet sich Likelihood von Wah…
Karten
14 KartenWas ist die Likelihood-Funktion L(θ|x)?
Rückseite
Die Likelihood-Funktion ist die Dichtefunktion der beobachteten Daten x, aufgefasst als Funktion des Parameters θ: L(θ|x) = f(x|θ).
Worin unterscheidet sich Likelihood von Wahrscheinlichkeit?
Rückseite
Wahrscheinlichkeit: P(X=x|θ) für festes θ, variable x. Likelihood: L(θ|x) für festes x, variables θ. Likelihood ist keine Wahrscheinlichkeitsverteilung über θ.
Warum nutzt man die Log-Likelihood statt der Likelihood?
Rückseite
Produkte werden zu Summen (log Π = Σ log), Ableitungen vereinfachen sich, numerische Stabilität bei kleinen Werten steigt. Der Maximierer bleibt identisch.
Wie ist der Maximum-Likelihood-Schätzer (MLE) definiert?
Rückseite
Der MLE θ̂_ML maximiert die Likelihood-Funktion: θ̂_ML = argmax_θ L(θ|x) = argmax_θ ℓ(θ|x) mit ℓ = log L.
Was ist die Score-Funktion und welche Eigenschaft hat ihr Erwartungswert?
Rückseite
Die Score-Funktion ist U(θ) = ∂ℓ(θ|X)/∂θ. Unter Regularitätsbedingungen gilt E_θ[U(θ)] = 0.
Wie wird die Fisher-Information I(θ) definiert?
Rückseite
I(θ) = Var_θ[U(θ)] = E_θ[(∂ℓ/∂θ)²] = -E_θ[∂²ℓ/∂θ²]. Sie misst die Krümmung der Log-Likelihood und damit die Informationsmenge über θ.
Was besagt die Invarianz-Eigenschaft des MLE?
Rückseite
Für jede Funktion g ist g(θ̂_ML) der MLE für g(θ). Der MLE ist invariant unter Parametrisierungen.
Nenne die drei Haupt-Eigenschaften des MLE unter Regularitätsbedingungen.
Rückseite
Konsistenz (θ̂_ML → θ wahrscheinl.), asymptotische Normalität (√n(θ̂_ML-θ) → N(0,I(θ)⁻¹)), asymptotische Effizienz (erreicht Cramér-Rao-Schranke).
Wie lautet der MLE für den Parameter p einer Binomialverteilung B(n,p)?
Rückseite
θ̂_ML = x/n (relative Häufigkeit). Herleitung: ℓ(p) = x log p + (n-x) log(1-p), Ableitung nullsetzen: x/p - (n-x)/(1-p) = 0.
Wie lautet der MLE für μ und σ² einer Normalverteilung N(μ,σ²)?
Rückseite
μ̂_ML = x̄ (Stichprobenmittel), σ̂²_ML = 1/n Σ(x_i - x̄)² (korrigierter Quotient: erwartungstreu wäre 1/(n-1)).
Wann existiert kein analytischer MLE und was tut man dann?
Rückseite
Bei komplexen Modellen (z. B. Mischverteilungen, zensierte Daten) lässt sich die Likelihood-Gleichung nicht explizit lösen. Dann nutzt man numerische Verfahren: Newton-Raphson, EM-Algorithmus, Gradientenverfahren.
Was sind die Regularitätsbedingungen für asymptotische Eigenschaften des MLE?
Rückseite
Parameterraum offen, Träger von f unabhängig von θ, f dreimal stetig differenzierbar, Vertauschbarkeit von Ableitung und Integral, I(θ) endlich und positiv, Identifizierbarkeit.
Wie vergleicht sich MLE mit der Momentenmethode?
Rückseite
MLE ist asymptotisch effizienter (kleinere Varianz), aber rechenintensiver. Momentenschätzer sind einfacher, aber oft ineffizient. Bei exponentiellen Familien stimmen beide oft überein.
Was ist der Zusammenhang zwischen MLE und Bayesscher Schätzung?
Rückseite
Der MLE entspricht dem posteriori Modus (MAP) bei einer flachen (konstanten) Prior-Verteilung. Mit informativer Prior unterscheidet sich MAP vom MLE.