50분
실습: LoRA 병합, GGUF 변환, HuggingFace 업로드
평가 & 배포
실습: LoRA 병합, GGUF 변환, HuggingFace 업로드
QLoRA 파인튜닝 > 평가 & 배포
학습 목표
LoRA 어댑터를 기본 모델에 병합하는 방법을 익힌다 GGUF 포맷으로 변환하여 로컬 배포 준비를 한다 HuggingFace Hub에 모델을 업로드한다
모델 배포 준비 3단계
배포 옵션
- LoRA 어댑터 배포: 기본 모델 + 어댑터 별도 (수 MB)
- 병합 배포: 기본 모델에 LoRA 병합 (원본 크기)
- GGUF 배포: 양자화된 단일 파일 (2-4 GB)
에디터 로딩 중...
힌트 보기
- • merge_and_unload(): LoRA 가중치를 기본 모델에 영구 병합
- • GGUF Q4_K_M: 품질/크기 최적 균형점
- • Unsloth: save_pretrained_gguf()로 한 줄 변환
- • HuggingFace Hub: 팀 내 모델 공유에 매우 편리
정답 보기
에디터 로딩 중...