https://charminggroot.github.io/tags/multi-head-attention/ Recent content in Multi-Head-Attention on CharmingGroot Hugo ko-kr Sun, 14 Jun 2026 00:00:00 +0000 https://charminggroot.github.io/posts/065-attention-is-all-you-need/ Sun, 14 Jun 2026 00:00:00 +0000 https://charminggroot.github.io/posts/065-attention-is-all-you-need/ 2017년 Google Brain의 Vaswani 등이 발표한 논문. RNN 없이 어텐션만으로 시퀀스를 처리하는 트랜스포머 아키텍처를 제안했다. 병렬 연산이 가능하고 장거리 의존성을 직접 포착한다는 두 가지 특성이 이후 모든 대형 언어 모델의 기반이 됐다.