40분

하이퍼파라미터 완전 해부: 8개만 알면 된다

QLoRA 학습 실행

학습 목표

학습에 영향을 주는 핵심 하이퍼파라미터 8개를 이해한다 제조 도메인에 적합한 기본값을 알고 있다 각 파라미터 변경이 학습에 미치는 영향을 예측할 수 있다

핵심 하이퍼파라미터 8개

비유: 요리사의 레시피

"파인튜닝은 요리와 같아. 재료(데이터)도 중요하지만, 불 세기(학습률), 조리 시간(에포크), 냄비 크기(배치)도 중요해."

1. 학습률 (Learning Rate)

에디터 로딩 중...

2. 에포크 수 (num_train_epochs)

에디터 로딩 중...

3. 배치 크기 (per_device_train_batch_size)

에디터 로딩 중...

4. Gradient Accumulation Steps

에디터 로딩 중...

5. 최대 시퀀스 길이 (max_seq_length)

에디터 로딩 중...

6. 학습률 스케줄러 (lr_scheduler_type)

에디터 로딩 중...

7. Warmup 비율 (warmup_ratio)

에디터 로딩 중...

8. Weight Decay

에디터 로딩 중...

제조 QLoRA 표준 레시피

에디터 로딩 중...

핵심 포인트

• learning_rate=2e-4: QLoRA 표준, LoRA에서 가장 안정적
• epochs=3: 500건 이하 데이터에 적합
• batch=2, accumulation=8: 8GB GPU에서 효과적 배치 16
• cosine 스케줄러: 안정적 수렴에 최적
• max_seq_length=512: p95 + 64 기준 설정