Attention 계산 한 장 정리

scores  = Q @ K.T / sqrt(d_k)   # 어디를 볼지 점수
weights = softmax(scores)       # 확률로 정규화
out     = weights @ V           # 본 곳의 내용을 가중합

• Q — 지금 토큰이 찾고 싶은 것(질의)
• K — 각 토큰이 자신을 설명하는 색인
• V — 실제로 전달할 내용

√d_k로 나누는 이유: 차원이 커지면 내적의 분산이 커져 softmax가 포화되기 때문. multi-head는 이 계산을 저차원에서 h번 병렬로 하는 것 — 서로 다른 관계를 동시에 본다.