https://charminggroot.github.io/tags/knowledge-distillation/ Recent content in Knowledge-Distillation on CharmingGroot Hugo ko-kr Sun, 14 Jun 2026 00:00:00 +0000 https://charminggroot.github.io/posts/082-dino/ Sun, 14 Jun 2026 00:00:00 +0000 https://charminggroot.github.io/posts/082-dino/ DINO(2021)는 레이블 없이 ViT를 학습하는 자기지도학습 방법이다. 학생-교사 구조에서 이미지의 다른 크롭이 같은 표현을 갖도록 학습한다. 레이블 없이도 의미 있는 시각적 특징을 학습하고, 어텐션 맵이 자연스럽게 세그멘테이션 마스크를 형성한다.