45분
실습: Ollama로 로컬 AI 서비스 구축
평가 & 배포
실습: Ollama로 로컬 AI 서비스 구축
QLoRA 파인튜닝 > 평가 & 배포
학습 목표
GGUF 모델을 Ollama에 등록하여 로컬 서비스를 구축한다 Modelfile을 작성하여 시스템 프롬프트를 설정한다 REST API로 제조 AI 챗봇 엔드포인트를 구축한다
Ollama 로컬 배포
왜 Ollama인가?
- GPU 없이도 CPU에서 추론 가능
- REST API 자동 제공
- Docker 배포 지원
- 보안: 외부 API 불필요 (에어갭 환경)
에디터 로딩 중...
힌트 보기
- • Ollama는 기본 포트 11434로 REST API 제공
- • Modelfile SYSTEM: 제조 전문가 역할 + 답변 규칙 설정
- • temperature=0.1: 제조 현장은 일관된(확정적) 답변이 중요
- • num_ctx=2048: 긴 질문도 처리 가능하도록 충분히 설정
정답 보기
에디터 로딩 중...
AI로 학습하기 — 꿀팁
🤖Ollama Modelfile 및 배포 코드 생성AI 학습 팁
AI에게 제조 AI의 역할과 응답 스타일을 알려주면 시스템 프롬프트가 포함된 Modelfile과 FastAPI 래퍼 서버 코드를 생성해줍니다.
제조 설비 유지보수 전문가 AI를 Ollama에 배포하기 위한 Modelfile을 작성해줘. SYSTEM 프롬프트에 '제조 현장 15년 경력 유지보수 전문가' 역할, TEMPLATE은 Qwen2.5 chat 포맷 적용, PARAMETER(temperature 0.1, top_p 0.9). 그리고 이 모델을 호출하는 FastAPI 서버 코드도 작성해줘.
이 팁이 도움이 됐나요?