https://charminggroot.github.io/tags/clip/ Recent content in Clip on CharmingGroot Hugo ko-kr Sun, 14 Jun 2026 00:00:00 +0000 https://charminggroot.github.io/posts/064-stable-diffusion/ Sun, 14 Jun 2026 00:00:00 +0000 https://charminggroot.github.io/posts/064-stable-diffusion/ Stable Diffusion은 텍스트 프롬프트로 이미지를 생성하는 잠재 확산 모델이다. 노이즈를 점진적으로 제거하는 역방향 확산 과정을 학습하고, VAE로 픽셀 대신 잠재 공간에서 연산해 효율을 높인다. 원리, 아키텍처, 샘플링 방법, LoRA/ControlNet 같은 파인튜닝 기법, SD1.x부터 FLUX까지의 발전 과정을 다룬다. https://charminggroot.github.io/posts/083-clip/ Sun, 14 Jun 2026 00:00:00 +0000 https://charminggroot.github.io/posts/083-clip/ CLIP(2021)은 4억 개의 이미지-텍스트 쌍으로 텍스트와 이미지를 같은 임베딩 공간에 정렬한다. 별도 파인튜닝 없이 새로운 분류 태스크에 적용하는 Zero-Shot 분류가 가능하고, 텍스트로 이미지를 검색하거나 이미지로 텍스트를 검색하는 크로스 모달 검색의 기반이 된다. https://charminggroot.github.io/posts/094-llava/ Sun, 14 Jun 2026 00:00:00 +0000 https://charminggroot.github.io/posts/094-llava/ LLaVA(2023)는 CLIP 비전 인코더와 LLaMA를 선형 투영 레이어 하나로 연결한 오픈소스 멀티모달 모델이다. GPT-4가 생성한 158K 시각 지시 데이터로 학습해 GPT-4V에 가까운 시각 추론 능력을 보인다.