https://charminggroot.github.io/tags/instruction-tuning/ Recent content in Instruction-Tuning on CharmingGroot Hugo ko-kr Sun, 14 Jun 2026 00:00:00 +0000 https://charminggroot.github.io/posts/093-blip2/ Sun, 14 Jun 2026 00:00:00 +0000 https://charminggroot.github.io/posts/093-blip2/ BLIP-2(2023)는 Q-Former라는 경량 쿼리 트랜스포머로 고정된 이미지 인코더와 고정된 LLM을 연결한다. 두 모델을 재학습 없이 연결하므로 학습 비용이 낮고, 더 강력한 LLM으로 교체하면 멀티모달 능력도 함께 향상된다. https://charminggroot.github.io/posts/094-llava/ Sun, 14 Jun 2026 00:00:00 +0000 https://charminggroot.github.io/posts/094-llava/ LLaVA(2023)는 CLIP 비전 인코더와 LLaMA를 선형 투영 레이어 하나로 연결한 오픈소스 멀티모달 모델이다. GPT-4가 생성한 158K 시각 지시 데이터로 학습해 GPT-4V에 가까운 시각 추론 능력을 보인다.