Unsloth: 무료로 2배 빠른 학습

왜 Unsloth인가?

김대리: "QLoRA로 7B 모델 학습하는데 T4 GPU에서 8시간 걸렸어요..."

박선배: "Unsloth 쓰면 4시간이면 돼. 무료이고, 코드 2줄만 바꾸면 돼."

Unsloth의 최적화

가속 원리:
1. 커스텀 CUDA 커널
   - Attention 연산 최적화
   - RoPE (위치 인코딩) 퓨전
   - Cross-Entropy Loss 퓨전

2. 메모리 최적화
   - 그래디언트 체크포인팅 개선
   - 메모리 효율적 역전파

3. 결과
   - 학습 속도: 2x 향상 (T4 기준)
   - 메모리 사용: 60% 감소
   - 성능: 동일 (lossless)

HuggingFace vs Unsloth 비교

항목	HuggingFace PEFT	Unsloth
학습 속도	기준 (1x)	2x
메모리	기준	-60%
설치	pip install peft	pip install unsloth
코드 변경	-	최소 (2-3줄)
성능	기준	동일
지원 모델	대부분	Llama, Mistral, Gemma 등
가격	무료	무료 (오픈소스)

Unsloth 코드 (표준 vs Unsloth)

# === 표준 HuggingFace 방식 ===
from transformers import AutoModelForCausalLM
from peft import get_peft_model, LoraConfig

model = AutoModelForCausalLM.from_pretrained(
    "unsloth/Llama-3.3-70B-Instruct-bnb-4bit",
    quantization_config=bnb_config,
)
model = get_peft_model(model, lora_config)

# === Unsloth 방식 (이것만 바꾸면 됨!) ===
from unsloth import FastLanguageModel

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="unsloth/Llama-3.3-70B-Instruct-bnb-4bit",
    max_seq_length=2048,
    load_in_4bit=True,
)
model = FastLanguageModel.get_peft_model(
    model,
    r=16,
    lora_alpha=32,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj",
                     "gate_proj", "up_proj", "down_proj"],
    lora_dropout=0,
    bias="none",
)

지원 모델 (2024-2026)

Llama 계열:
- Llama 2 (7B, 13B)
- Llama 3 (8B, 70B)
- Llama 3.1 (8B, 70B, 405B)
- Llama 3.2 (1B, 3B)
- Llama 3.3 (70B)
- Llama 4 Scout (17B active, MoE)

기타:
- Mistral (7B), Mixtral (8x7B)
- Gemma 2 (2B, 9B, 27B)
- Phi-3 (mini, small, medium)
- Qwen 2 (0.5B, 1.5B, 7B, 72B)
- DeepSeek-V3 (685B MoE)
- Qwen 2.5/3 (0.5B~72B)
- Gemma 3/4 (2B~31B)
- Phi-4 (14B)