Vorderseite

Was berechnet der Scaled Dot-Product Attention?

Tippe zum Umdrehen

Rückseite

Attention(Q,K,V) = softmax(Q·K^T/√d_k)·V. Queries werden mit Keys verglichen, gewichtete Values summiert.

Gelernt: 0Verbleibend: 12

Lernset: Informatik KI – Transformer und Attention