60분
Phase 4: 로컬 배포 (GGUF + Ollama)
제조 도메인 sLLM 구축
Phase 4: 로컬 배포 (GGUF + Ollama)
QLoRA 파인튜닝 > 제조 도메인 sLLM 구축
학습 목표
학습된 모델을 GGUF로 변환한다 Ollama에 등록하여 로컬 서비스를 구축한다 REST API로 테스트한다
Phase 4: 배포
Day 4의 배포 코드를 적용하여:
- LoRA 어댑터 병합
- GGUF 변환 (Q4_K_M)
- Ollama Modelfile 작성
- ollama create & 테스트
에디터 로딩 중...
힌트 보기
- • Ollama가 설치되지 않은 환경에서는 어댑터 저장까지만 수행
- • GGUF 변환은 Unsloth가 가장 간편
- • Modelfile의 SYSTEM 프롬프트가 답변 품질에 큰 영향
정답 보기
에디터 로딩 중...