50분
실습: 처음부터 끝까지 - QLoRA 전체 학습 코드
QLoRA 학습 실행
실습: 처음부터 끝까지 - QLoRA 전체 학습 코드
QLoRA 파인튜닝 > QLoRA 학습 실행
학습 목표
QLoRA 학습의 전체 파이프라인을 코드로 구현한다 SFTTrainer를 사용한 학습 실행 방법을 익힌다 학습 완료 후 모델 저장과 테스트를 수행한다
전체 QLoRA 학습 코드
파이프라인 순서
- 모델 & 토크나이저 로드 (4비트)
- LoRA 설정
- 데이터셋 로드 & 포맷팅
- 학습 실행 (SFTTrainer)
- 모델 저장
- 테스트 추론
에디터 로딩 중...
힌트 보기
- • Colab T4: bf16=False, fp16=True로 변경 (T4는 bf16 미지원)
- • pad_token = eos_token 설정 필수 (없으면 에러)
- • packing=True: 짧은 샘플을 합쳐 학습 효율 50%+ 향상
- • load_best_model_at_end=True: 가장 좋은 체크포인트 자동 로드
정답 보기
에디터 로딩 중...
AI로 학습하기 — 꿀팁
🤖QLoRA 전체 학습 코드 스캐폴딩AI 학습 팁
AI에게 베이스 모델명과 GPU 메모리를 알려주면 4비트 양자화 설정·LoRA config·SFTTrainer 전체 파이프라인 코드를 생성해줍니다.
제조 AI 파인튜닝을 위한 QLoRA 전체 학습 코드를 작성해줘. 베이스 모델: Qwen2.5-7B-Instruct, 4비트 BitsAndBytesConfig, LoRA(r=16, alpha=32, dropout=0.05, target_modules 자동 탐지), SFTTrainer 설정(lr=2e-4, batch_size=4, grad_accum=4, epochs=3), wandb 학습 곡선 로깅까지 포함해줘.
이 팁이 도움이 됐나요?