https://charminggroot.github.io/tags/tokenizer/ Recent content in Tokenizer on CharmingGroot Hugo ko-kr Sun, 14 Jun 2026 00:00:00 +0000 https://charminggroot.github.io/posts/071-tokenizer/ Sun, 14 Jun 2026 00:00:00 +0000 https://charminggroot.github.io/posts/071-tokenizer/ 토크나이저는 텍스트를 모델이 처리할 수 있는 토큰 시퀀스로 변환한다. 단어 단위 분리는 미등록 단어 문제가 있고, 문자 단위는 시퀀스가 너무 길어진다. BPE와 WordPiece는 자주 등장하는 문자 조합을 병합해 두 문제를 동시에 해결하는 서브워드 토크나이저다.