Adam 옵티마이저 동작 뜯어보기

Adam = 모멘텀 + 좌표별 적응 학습률.

• 1차 모멘트(m) — 그래디언트의 지수이동평균. 방향을 부드럽게.
• 2차 모멘트(v) — 그래디언트 제곱의 평균. 많이 흔들린 좌표는 보폭을 줄임.
• bias correction — 초기 0으로 시작한 평균의 과소추정을 보정. 초반 학습을 살리는 역할.

실무 메모:

• weight decay는 AdamW처럼 분리해서 걸 것 (L2를 손실에 더하면 v에 오염됨).
• LLM 계열은 beta2를 0.95로 낮추는 것이 흔한 선택 — 스파이크에 더 빨리 반응.