60분
실습: 처음부터 끝까지 - QLoRA 전체 학습 코드
QLoRA 학습 실행
실습: 처음부터 끝까지 - QLoRA 전체 학습 코드
QLoRA 파인튜닝 > QLoRA 학습 실행
학습 목표
QLoRA 학습의 전체 파이프라인을 코드로 구현한다 SFTTrainer를 사용한 학습 실행 방법을 익힌다 학습 완료 후 모델 저장과 테스트를 수행한다
전체 QLoRA 학습 코드
파이프라인 순서
- 모델 & 토크나이저 로드 (4비트)
- LoRA 설정
- 데이터셋 로드 & 포맷팅
- 학습 실행 (SFTTrainer)
- 모델 저장
- 테스트 추론
에디터 로딩 중...
힌트 보기
- • Colab T4: bf16=False, fp16=True로 변경 (T4는 bf16 미지원)
- • pad_token = eos_token 설정 필수 (없으면 에러)
- • packing=True: 짧은 샘플을 합쳐 학습 효율 50%+ 향상
- • load_best_model_at_end=True: 가장 좋은 체크포인트 자동 로드
정답 보기
에디터 로딩 중...