50분

실습: Ollama로 로컬 AI 서비스 구축

평가 & 배포

학습 목표

GGUF 모델을 Ollama에 등록하여 로컬 서비스를 구축한다 Modelfile을 작성하여 시스템 프롬프트를 설정한다 REST API로 제조 AI 챗봇 엔드포인트를 구축한다

Ollama 로컬 배포

왜 Ollama인가?

GPU 없이도 CPU에서 추론 가능
REST API 자동 제공
Docker 배포 지원
보안: 외부 API 불필요 (에어갭 환경)

에디터 로딩 중...

힌트 보기

• Ollama는 기본 포트 11434로 REST API 제공
• Modelfile SYSTEM: 제조 전문가 역할 + 답변 규칙 설정
• temperature=0.1: 제조 현장은 일관된(확정적) 답변이 중요
• num_ctx=2048: 긴 질문도 처리 가능하도록 충분히 설정

정답 보기

에디터 로딩 중...