https://charminggroot.github.io/tags/peft/ Recent content in Peft on CharmingGroot Hugo ko-kr Sun, 14 Jun 2026 00:00:00 +0000 https://charminggroot.github.io/posts/088-prompt-prefix-tuning/ Sun, 14 Jun 2026 00:00:00 +0000 https://charminggroot.github.io/posts/088-prompt-prefix-tuning/ Prompt Tuning과 Prefix Tuning은 모델 가중치를 고정하고 입력 앞에 붙이는 학습 가능한 벡터(소프트 프롬프트)만 학습한다. 전체 파인튜닝의 0.1% 미만 파라미터로 비슷한 성능을 달성한다. https://charminggroot.github.io/posts/089-peft/ Sun, 14 Jun 2026 00:00:00 +0000 https://charminggroot.github.io/posts/089-peft/ PEFT(Parameter-Efficient Fine-Tuning)는 Hugging Face가 관리하는 파인튜닝 기법 모음 라이브러리다. LoRA, Prefix Tuning, Prompt Tuning, Adapter, IA3 등의 기법을 통일된 API로 제공한다. 모델 가중치의 1% 미만 파라미터만 학습해 전체 파인튜닝에 가까운 성능을 낸다. https://charminggroot.github.io/posts/095-qlora/ Sun, 14 Jun 2026 00:00:00 +0000 https://charminggroot.github.io/posts/095-qlora/ QLoRA(2023)는 4비트 양자화된 기반 모델에 LoRA를 적용해 65B 모델을 단일 48GB GPU에서 파인튜닝하는 방법이다. NF4(Normal Float 4) 양자화, 이중 양자화, 페이지드 옵티마이저 세 가지 기술을 결합해 메모리를 획기적으로 줄인다.