https://charminggroot.github.io/tags/contextual-embedding/ Recent content in Contextual-Embedding on CharmingGroot Hugo ko-kr Sun, 14 Jun 2026 00:00:00 +0000 https://charminggroot.github.io/posts/072-bert/ Sun, 14 Jun 2026 00:00:00 +0000 https://charminggroot.github.io/posts/072-bert/ BERT(2018)는 트랜스포머 인코더를 양방향으로 사전학습한 모델이다. MLM과 NSP 두 가지 태스크로 대규모 텍스트에서 언어 표현을 학습하고, 다운스트림 태스크에 파인튜닝한다. 문맥 의존 임베딩으로 다의어를 처리하고, 이후 NLP 사전학습 모델의 기준이 됐다.