Day 4 Common Pitfalls: 평가 & 배포 시 흔한 실수

Day 4 Common Pitfalls

Pitfall 1: "학습 데이터로 평가하면 점수가 높다"

문제: 학습에 사용한 데이터로 평가 -> 당연히 높은 점수
      (시험 문제를 미리 알고 시험 보는 것과 같음!)

해결: 평가 데이터는 반드시 학습 미사용 별도 세트 준비
  학습: 450건 / 평가: 50건 (겹침 없음!)

Pitfall 2: "병합 시 메모리 부족"

문제: merge_and_unload() 시 OOM
  - 기본 모델(FP16) + LoRA 가중치를 동시에 메모리 필요

해결:
  1. device_map="auto"로 CPU+GPU 분산
  2. 충분한 RAM 확보 (7B 모델: 최소 16GB RAM)
  3. Colab Pro (25GB RAM) 사용

Pitfall 3: "GGUF 변환 후 성능 차이"

양자화 레벨별 성능 손실 (체감):
  Q8_0:  ~1% 손실 (거의 없음)
  Q5_K_M: ~3% 손실 (미미)
  Q4_K_M: ~5% 손실 (수용 가능)
  Q2_K:  ~15% 손실 (눈에 띔)

제조 도메인 권장: Q4_K_M 이상
  (안전 관련 정확성이 중요하므로 Q2_K는 비추천)

Pitfall 4: "Ollama에서 한글 깨짐"

원인: 터미널 인코딩 문제

해결:
  export LANG=ko_KR.UTF-8
  export LC_ALL=ko_KR.UTF-8

  또는 REST API로 사용 (JSON이므로 인코딩 문제 없음)

Pitfall 5: "배포 후 답변이 학습 때와 다름"

원인 TOP 3:
1. 프롬프트 템플릿 불일치 (가장 흔함!)
2. temperature 설정 차이 (학습: 0 / 배포: 0.7)
3. max_tokens 부족 (답변이 잘림)

해결:
  학습과 동일한 프롬프트 템플릿 + 파라미터 사용
  Modelfile에 정확히 명시