https://charminggroot.github.io/tags/transformer/ Recent content in Transformer on CharmingGroot Hugo ko-kr Sun, 14 Jun 2026 00:00:00 +0000 https://charminggroot.github.io/posts/065-attention-is-all-you-need/ Sun, 14 Jun 2026 00:00:00 +0000 https://charminggroot.github.io/posts/065-attention-is-all-you-need/ 2017년 Google Brain의 Vaswani 등이 발표한 논문. RNN 없이 어텐션만으로 시퀀스를 처리하는 트랜스포머 아키텍처를 제안했다. 병렬 연산이 가능하고 장거리 의존성을 직접 포착한다는 두 가지 특성이 이후 모든 대형 언어 모델의 기반이 됐다. https://charminggroot.github.io/posts/072-bert/ Sun, 14 Jun 2026 00:00:00 +0000 https://charminggroot.github.io/posts/072-bert/ BERT(2018)는 트랜스포머 인코더를 양방향으로 사전학습한 모델이다. MLM과 NSP 두 가지 태스크로 대규모 텍스트에서 언어 표현을 학습하고, 다운스트림 태스크에 파인튜닝한다. 문맥 의존 임베딩으로 다의어를 처리하고, 이후 NLP 사전학습 모델의 기준이 됐다. https://charminggroot.github.io/posts/074-detr/ Sun, 14 Jun 2026 00:00:00 +0000 https://charminggroot.github.io/posts/074-detr/ DETR(2020)은 트랜스포머를 객체 탐지에 처음 적용한 모델이다. NMS 같은 수작업 후처리 없이 이미지에서 객체를 End-to-End로 탐지한다. 헝가리안 매칭으로 예측과 정답을 1대1로 연결해 중복 탐지 문제를 해결했다. https://charminggroot.github.io/posts/075-vit/ Sun, 14 Jun 2026 00:00:00 +0000 https://charminggroot.github.io/posts/075-vit/ ViT(2020)는 이미지를 패치로 나눠 트랜스포머에 입력하는 방식으로 CNN 없이 이미지를 처리한다. 충분히 큰 데이터셋으로 학습하면 ResNet을 능가한다. 이후 비전 모델의 패러다임을 CNN에서 트랜스포머로 전환하는 계기가 됐다. https://charminggroot.github.io/posts/086-flash-attention/ Sun, 14 Jun 2026 00:00:00 +0000 https://charminggroot.github.io/posts/086-flash-attention/ FlashAttention(2022)은 트랜스포머 어텐션의 메모리 병목을 IO-Aware 타일링으로 해결한다. 어텐션 행렬을 HBM에 저장하지 않고 SRAM에서 직접 계산해 메모리 사용량을 O(n)으로 줄이고 속도를 2~4배 높인다.