Was berechnet der Scaled Dot-Product Attention?
Tippe zum Umdrehen
Attention(Q,K,V) = softmax(Q·K^T/√d_k)·V. Queries werden mit Keys verglichen, gewichtete Values summiert.
Lernset: Informatik KI – Transformer und Attention