https://charminggroot.github.io/tags/quantization/ Recent content in Quantization on CharmingGroot Hugo ko-kr Fri, 19 Jun 2026 00:00:00 +0000 https://charminggroot.github.io/posts/097-zvec/ Fri, 19 Jun 2026 00:00:00 +0000 https://charminggroot.github.io/posts/097-zvec/ zvec은 애플리케이션 프로세스 안에 박혀 동작하는 임베디드 벡터 DB다. 서버 없이 라이브러리로 dense/sparse 벡터 검색, 전문 검색, 스칼라 필터를 하나의 쿼리로 결합한다. Faiss의 임베디드성과 Milvus의 DB 기능성 사이를 메운다. in-process가 무슨 뜻인지, 6종 인덱스와 HNSW 검색 코드 흐름, VNNI int8 커널 같은 성능 설계, 그리고 RaBitQ·DiskANN이 리눅스 전용이라는 함정까지 분해한다. https://charminggroot.github.io/posts/090-gptq/ Sun, 14 Jun 2026 00:00:00 +0000 https://charminggroot.github.io/posts/090-gptq/ GPTQ(2022)는 LLM 가중치를 4비트로 압축하는 사후 학습 양자화 방법이다. 재학습 없이 보정 데이터만으로 FP16 대비 4배 작은 모델을 만들고, 성능 손실을 최소화한다. 소비자 GPU에서 대형 모델을 실행하는 실용적인 방법이다. https://charminggroot.github.io/posts/095-qlora/ Sun, 14 Jun 2026 00:00:00 +0000 https://charminggroot.github.io/posts/095-qlora/ QLoRA(2023)는 4비트 양자화된 기반 모델에 LoRA를 적용해 65B 모델을 단일 48GB GPU에서 파인튜닝하는 방법이다. NF4(Normal Float 4) 양자화, 이중 양자화, 페이지드 옵티마이저 세 가지 기술을 결합해 메모리를 획기적으로 줄인다.