▶️25분
[영상] QLoRA -- 4비트 초경량 파인튜닝 원리
학습 데이터 준비
[영상] QLoRA -- 4비트 초경량 파인튜닝 원리
QLoRA 파인튜닝 > 학습 데이터 준비
학습 목표
Instruction Dataset의 Alpaca 포맷과 ShareGPT 포맷을 비교하고 제조 도메인에 적합한 형식을 선택할 수 있다 QLoRA 4-bit NF4 양자화의 세 가지 핵심 혁신(NF4, Double Quantization, Paged Optimizer)을 설명할 수 있다 제조 설비 매뉴얼·알람 이력을 학습 데이터로 변환하는 과정을 설명할 수 있다 데이터 품질이 모델 성능에 미치는 영향을 구체적인 예시로 설명하고 정제 기준을 제시할 수 있다
플레이어 로딩 중...
핵심 포인트
- • Alpaca 포맷은 instruction+input+output 3필드 구조 — 제조 Q&A 데이터를 빠르게 변환하기 좋다
- • ShareGPT 포맷은 다중 턴 대화(human/gpt 교대) — 복잡한 진단 대화 시뮬레이션에 적합하다
- • NF4(Normalized Float 4)는 정규분포를 따르는 LLM 가중치에 최적화된 4-bit 표현 방식으로, INT4보다 낮은 오차를 달성한다
- • 학습 데이터 1,000개라도 고품질(정확한 용어·일관된 형식)이 저품질 10,000개보다 낫다 — 제조 도메인은 전문가 검수가 필수