Day 3 이해도 점검: QLoRA 학습

QLoRA 학습 실행

QLoRA 파인튜닝 > QLoRA 학습 실행

6문제

Q1. QLoRA 학습 시 Train Loss는 0.3인데 Val Loss가 1.5로 올라갔다면?

A. 정상 학습이므로 계속 진행B. 과적합(Overfitting) 발생 -> 에포크 줄이기C. 학습 부족 -> 에포크 늘리기D. Loss 폭발 -> 학습률 낮추기

Q2. 8GB GPU에서 7B 모델을 학습할 때 메모리 부족이면 가장 먼저 시도할 것은?

A. 더 큰 GPU 구매B. batch_size를 줄이고 gradient_accumulation을 올리기C. 학습률을 높이기D. 에포크를 줄이기

Q3. SFTTrainer에서 packing=True의 효과는?

A. 모델 크기를 압축한다B. 짧은 샘플을 하나의 시퀀스에 합쳐 학습 효율을 높인다C. 데이터를 자동으로 증강한다D. 학습률을 자동으로 조정한다

Q4. Unsloth가 표준 HuggingFace 대비 2배 빠른 주된 이유는?

A. 모델을 2비트로 추가 압축하기 때문B. 데이터를 건너뛰기 때문C. 커스텀 CUDA 커널로 Attention/RoPE/Loss 연산을 최적화하기 때문D. 학습률을 자동으로 높이기 때문

Q5. 학습 후 일반 질문 답변 품질이 떨어지는 "파국적 망각"의 해결책이 아닌 것은?

A. 에포크 수를 줄인다B. 학습률을 낮춘다C. LoRA r 값을 크게 올린다D. 일반 지식 데이터를 10-20% 혼합한다

Q6. 학습률 스케줄러 "cosine"의 특징은?

A. 학습률이 처음부터 끝까지 동일하다B. 학습률이 선형으로 감소한다C. 학습률이 코사인 곡선을 따라 부드럽게 감소한다D. 학습률이 주기적으로 올라갔다 내려간다