세 가지 방법 비교: 어떤 걸 써야 하나?

비유로 이해하기

프롬프트 엔지니어링 = 외국인에게 한국어 매뉴얼을 영어로 설명 RAG = 매뉴얼 북을 옆에 두고 필요할 때 참고 파인튜닝 = 한국어를 직접 가르침 (진짜 이해)

제조 현장 시나리오별 비교

시나리오 1: "AL-3012 알람 대응법은?"

방법	접근	한계
프롬프트	"너는 CNC 전문가야. AL-3012 알람에 대해..."	매번 긴 프롬프트 작성, 토큰 비용
RAG	매뉴얼 DB 검색 -> 관련 문서 전달 -> 답변	검색 품질에 의존, 지연 시간
파인튜닝	모델이 AL-3012를 "알고 있음"	학습 데이터 필요, 초기 투자

시나리오 2: "이 진동 패턴이 베어링 마모인가?"

방법	가능?	이유
프롬프트	어려움	진동 분석 패턴을 말로 설명하기 어려움
RAG	부분적	유사 사례 검색은 가능하나 판단력 부족
파인튜닝	최적	수천 건의 진동-고장 매핑 학습 가능

언제 파인튜닝을 선택하나?

파인튜닝이 적합한 경우:
[x] 도메인 전문 용어를 정확히 써야 할 때
[x] 일관된 출력 형식이 필요할 때 (JSON, 보고서)
[x] 특정 판단 로직이 있을 때 (불량 판정, 고장 진단)
[x] API 비용을 줄이고 싶을 때 (자체 모델 운영)
[x] 오프라인 환경에서 운영해야 할 때 (보안상 외부 API 불가)

RAG가 더 적합한 경우:
[x] 정보가 자주 업데이트될 때 (매뉴얼 개정)
[x] 출처 명시가 중요할 때 ("매뉴얼 p.42 참조")
[x] 학습 데이터가 부족할 때 (<100건)

최적 조합:
[x] 파인튜닝 + RAG = 도메인 이해력 + 최신 정보 검색
    -> "파인튜닝된 모델이 RAG 결과를 더 잘 이해한다"

Full Fine-tuning vs PEFT

Full Fine-tuning:
  - 모든 파라미터를 업데이트
  - 7B 모델 기준: 112GB+ VRAM 필요
  - A100 80GB x 2 이상
  - 비용: GPU 서버 월 수백만 원

PEFT (Parameter-Efficient Fine-Tuning):
  - 극소수 파라미터만 업데이트 (0.1~1%)
  - 7B 모델 기준: 16GB VRAM으로 가능
  - RTX 4090 1장이면 충분
  - 비용: 개인 GPU 또는 Colab Pro

PEFT 기법 종류

기법	원리	학습 파라미터	인기도
LoRA	저랭크 행렬 분해	0.1~1%	가장 높음
QLoRA	LoRA + 4비트 양자화	0.1~1%	매우 높음
Prefix Tuning	가상 토큰 추가	<0.1%	보통
Adapter	레이어 사이에 소형 네트워크 삽입	1~3%	초기 인기
IA3	활성값에 벡터 곱	<0.01%	실험적

이번 주에는 가장 실용적인 LoRA + QLoRA 조합을 집중 학습합니다.