Day 1 Common Pitfalls

Pitfall 1: "GPU가 있는데 CUDA가 안 된다"

증상: torch.cuda.is_available() -> False

원인 TOP 3:
1. PyTorch CPU 버전 설치됨
   -> pip install torch --index-url https://download.pytorch.org/whl/cu121

2. CUDA 드라이버 버전 불일치
   -> nvidia-smi 로 드라이버 확인
   -> PyTorch CUDA 버전과 맞추기

3. Colab에서 런타임 GPU 미설정
   -> 런타임 > 런타임 유형 변경 > GPU

Pitfall 2: "모델 로드 시 OOM (Out of Memory)"

증상: CUDA out of memory

원인: 8GB GPU에 7B 모델 FP16 로드 시도 (14GB 필요)

해결:
1. BitsAndBytesConfig로 4비트 로드 (4GB로 줄어듦)
2. 더 작은 모델 사용 (Phi-4-mini 14B, Gemma-2B)
3. device_map="auto" 설정 (GPU + CPU 자동 분배)

Pitfall 3: "bitsandbytes 설치 에러"

증상: ImportError: cannot import name 'BitsAndBytesConfig'

해결 (Linux/Colab):
  pip install -q bitsandbytes

해결 (Windows):
  # Windows는 공식 bitsandbytes 지원 제한적
  pip install bitsandbytes-windows
  # 또는 WSL2 사용 권장

해결 (Mac M1/M2):
  # bitsandbytes가 CUDA 전용이므로 Mac에서 안 됨
  # Colab 또는 RunPod 사용 필수

Pitfall 4: "LoRA target_modules 에러"

증상: ValueError: Target modules not found

원인: 모델마다 레이어 이름이 다름!

확인 방법:
  for name, module in model.named_modules():
      if "proj" in name or "linear" in name:
          print(name)

모델별 레이어 이름:
- Llama: q_proj, k_proj, v_proj, o_proj
- Phi-4-mini: q_proj, k_proj, v_proj, dense
- Mistral: q_proj, k_proj, v_proj, o_proj
- Gemma: q_proj, k_proj, v_proj, o_proj

Pitfall 5: "r을 크게 하면 무조건 좋은가?"

r이 크면:
  + 더 복잡한 패턴 학습 가능
  - 과적합 위험 증가
  - 메모리/시간 더 필요
  - 일반화 능력 감소 가능

권장:
  r=8:  간단한 스타일 변경 (어조, 형식)
  r=16: 도메인 지식 + 전문 용어 (제조 AI 표준)
  r=32: 복잡한 추론 능력 변경 (번역, 코드 생성)
  r=64: Full Fine-tuning에 가까운 효과 (주의 필요)