45분
실습: LoRA 병합, GGUF 변환, HuggingFace 업로드
평가 & 배포
실습: LoRA 병합, GGUF 변환, HuggingFace 업로드
QLoRA 파인튜닝 > 평가 & 배포
학습 목표
LoRA 어댑터를 기본 모델에 병합하는 방법을 익힌다 GGUF 포맷으로 변환하여 로컬 배포 준비를 한다 HuggingFace Hub에 모델을 업로드한다
모델 배포 준비 3단계
배포 옵션
- LoRA 어댑터 배포: 기본 모델 + 어댑터 별도 (수 MB)
- 병합 배포: 기본 모델에 LoRA 병합 (원본 크기)
- GGUF 배포: 양자화된 단일 파일 (2-4 GB)
에디터 로딩 중...
힌트 보기
- • merge_and_unload(): LoRA 가중치를 기본 모델에 영구 병합
- • GGUF Q4_K_M: 품질/크기 최적 균형점
- • Unsloth: save_pretrained_gguf()로 한 줄 변환
- • HuggingFace Hub: 팀 내 모델 공유에 매우 편리
정답 보기
에디터 로딩 중...
AI로 학습하기 — 꿀팁
🧪GGUF 양자화 레벨 선택 질문AI 학습 팁
AI에게 제조 현장 배포 환경(CPU 전용·저사양 서버·GPU 없음)을 설명하면 Q4_K_M vs Q5_K_M vs Q8_0 중 최적 양자화 레벨과 트레이드오프를 알려줍니다.
제조 현장 엣지 서버(CPU 전용, RAM 16GB, GPU 없음)에 LLM을 배포할 때 GGUF 양자화 레벨(Q4_K_M vs Q5_K_M vs Q8_0)을 어떻게 선택해야 해? 안전 절차 응답 정확도와 추론 속도(tokens/sec) 트레이드오프, Ollama에서 각 레벨 실제 메모리 점유량도 알려줘.
이 팁이 도움이 됐나요?