주간 프로젝트: 제조 도메인 sLLM End-to-End 구축

프로젝트 시나리오

상황: 당신은 스마트 팩토리 AI팀 엔지니어입니다. 경영진이 현장 엔지니어를 위한 AI 어시스턴트 구축을 요청했습니다.

요구사항:

1. 설비 매뉴얼 기반 Q&A 기능
2. 고장 진단 지원 기능
3. 안전 규정 안내 기능
4. 오프라인 환경에서 동작 (보안상 외부 API 불가)

제약사항:

• GPU: 무료 Colab T4(약 15GB)를 기준선으로 잡는다. 더 좋은 GPU가 있으면 배치를 키운다
• 개발 기간: 1주일 (오늘!)
• 모델 크기: 4B 이하 4비트 (이 과정 표준은 Phi-4-mini-instruct, 3.8B)

눌러서 크게 보기

프로젝트 아키텍처

[전체 파이프라인]

Phase 1: 데이터 (Day 2 복습)
  매뉴얼 -> Q&A 변환 -> 증강 -> 검증 -> 데이터셋
  (목표: 300건 이상)

Phase 2: 학습 (Day 3 복습)
  모델 선택 -> QLoRA 설정 -> 어댑터 부착 검증 -> 학습 실행 -> 체크포인트
  (목표: Val Loss가 내려가다 반등하기 전 체크포인트를 고른다.
   Loss의 절대값은 데이터와 템플릿에 따라 달라지므로 「1.0 미만」 같은 선을 두지 않는다)

Phase 3: 평가 (Day 4 복습)
  자동 평가 -> A/B 비교 -> 리포트
  (목표: 종합 60점 이상)

Phase 4: 배포 (Day 4 복습)
  LoRA 병합 -> GGUF 변환 -> Ollama 배포 -> API 서비스
  (목표: 로컬 REST API 동작)

Phase 5: 문서화 (오늘)
  기술 보고서 -> 데모 시나리오 -> 포트폴리오

평가 기준

시간 배분

이 날에 편성된 시간은 199분이고, 그중 Phase 1~4 실습이 90분, 제출 과제가 45분이다. 아래는 그 안에서의 배분이다. 학습 대기 시간은 다른 Phase와 겹쳐서 쓴다.

300건 3에포크 학습은 무료 T4에서 수십 분이 걸릴 수 있다. Phase 2를 시작하자마자 Phase 3의 테스트 질문과 Phase 5의 보고서 뼈대를 먼저 쓴다. 학습이 끝날 때까지 화면을 보고 있으면 이 날은 끝나지 않는다.

GPU가 없다면

Phase 2만 빼고 나머지는 그대로 한다. Day 1 실습의 「GPU 없는 학습자의 경로」를 따르고, Phase 2 자리에는 학습 설정과 그 근거(스텝 수·유효 배치·예상 시간 계산)를 적어 낸다. Phase 3의 비교군은 「기본 모델」과 「시스템 프롬프트만 적용한 모델」 둘로 잡는다. 이 경우 학습 20점은 설정 근거로 대체 채점하며, 시작 전에 담당 강사에게 알린다.