30

왜 파인튜닝인가? RAG와 프롬프트로 안 되나?

파인튜닝 개요 & LoRA/QLoRA

학습 목표

파인튜닝 vs RAG vs 프롬프트 엔지니어링 차이를 정확히 구분한다 각 방법의 적합한 사용 시나리오를 판단할 수 있다 Full Fine-tuning과 PEFT의 차이를 이해한다

세 가지 방법 비교: 어떤 걸 써야 하나?

비유로 이해하기

프롬프트 엔지니어링 = 외국인에게 한국어 매뉴얼을 영어로 설명 RAG = 매뉴얼 북을 옆에 두고 필요할 때 참고 파인튜닝 = 한국어를 직접 가르침 (진짜 이해)

제조 현장 시나리오별 비교

시나리오 1: "AL-3012 알람 대응법은?"

방법접근한계
프롬프트"너는 CNC 전문가야. AL-3012 알람에 대해..."매번 긴 프롬프트 작성, 토큰 비용
RAG매뉴얼 DB 검색 -> 관련 문서 전달 -> 답변검색 품질에 의존, 지연 시간
파인튜닝모델이 AL-3012를 "알고 있음"학습 데이터 필요, 초기 투자

시나리오 2: "이 진동 패턴이 베어링 마모인가?"

방법가능?이유
프롬프트어려움진동 분석 패턴을 말로 설명하기 어려움
RAG부분적유사 사례 검색은 가능하나 판단력 부족
파인튜닝최적수천 건의 진동-고장 매핑 학습 가능

언제 파인튜닝을 선택하나?

에디터 로딩 중...

Full Fine-tuning vs PEFT

에디터 로딩 중...

PEFT 기법 종류

기법원리학습 파라미터인기도
LoRA저랭크 행렬 분해0.1~1%가장 높음
QLoRALoRA + 4비트 양자화0.1~1%매우 높음
Prefix Tuning가상 토큰 추가<0.1%보통
Adapter레이어 사이에 소형 네트워크 삽입1~3%초기 인기
IA3활성값에 벡터 곱<0.01%실험적

이번 주에는 가장 실용적인 LoRA + QLoRA 조합을 집중 학습합니다.

핵심 포인트
  • 프롬프트: 매번 지시 / RAG: 검색+참고 / 파인튜닝: 직접 학습
  • 파인튜닝은 도메인 전문성, 일관된 출력, 오프라인 운영에 최적
  • PEFT(LoRA/QLoRA)로 소규모 GPU에서도 파인튜닝 가능
  • 실전 최적 = 파인튜닝 + RAG 조합