https://charminggroot.github.io/tags/pre-training/ Recent content in Pre-Training on CharmingGroot Hugo ko-kr Sun, 14 Jun 2026 00:00:00 +0000 https://charminggroot.github.io/posts/072-bert/ Sun, 14 Jun 2026 00:00:00 +0000 https://charminggroot.github.io/posts/072-bert/ BERT(2018)는 트랜스포머 인코더를 양방향으로 사전학습한 모델이다. MLM과 NSP 두 가지 태스크로 대규모 텍스트에서 언어 표현을 학습하고, 다운스트림 태스크에 파인튜닝한다. 문맥 의존 임베딩으로 다의어를 처리하고, 이후 NLP 사전학습 모델의 기준이 됐다. https://charminggroot.github.io/posts/073-roberta/ Sun, 14 Jun 2026 00:00:00 +0000 https://charminggroot.github.io/posts/073-roberta/ RoBERTa(2019)는 BERT 아키텍처를 바꾸지 않고 학습 방식만 개선해 성능을 크게 높였다. NSP 제거, 더 많은 데이터, 더 큰 배치, 동적 마스킹이 핵심이다. ‘좋은 사전학습 레시피’가 아키텍처만큼 중요하다는 것을 보여줬다.