15분
"Loss가 떨어진다...진짜로 배우고 있어!"
QLoRA 학습 실행
"Loss가 떨어진다...진짜로 배우고 있어!"
QLoRA 파인튜닝 > QLoRA 학습 실행
학습 목표
QLoRA 학습 과정의 전체 흐름을 파악한다 학습 로그를 읽는 방법을 이해한다
"드디어 학습이 시작됐다"
김대리: "데이터 준비 끝났어요! 이제 어떻게 학습시켜요?"
박선배: "자, 이제 진짜 마법이 시작되는 거야. 코드 실행하고 Loss 그래프를 봐."
에디터 로딩 중...
김대리: "Loss가 2.8에서 0.5로 떨어졌어요!"
박선배: "좋아. 모델이 제조 데이터를 학습하고 있다는 뜻이야. 자, 이제 학습된 모델에게 물어보자."
에디터 로딩 중...
김대리: "와, 완전히 다른 모델이 됐어요!"
오늘의 여정
| 시간 | 주제 | 핵심 |
|---|---|---|
| 1교시 | 하이퍼파라미터 | 어떤 설정이 결과를 좌우하나? |
| 2교시 | 전체 코드 | 처음부터 끝까지 학습 코드 |
| 3교시 | 모니터링 | Loss 그래프를 어떻게 해석? |
| 4교시 | Unsloth | 2배 빠른 학습 코드 |
| 5교시 | 실습 | 직접 학습 실행! |
핵심 포인트
- • Loss 감소 = 모델이 데이터 패턴을 학습 중
- • QLoRA: 5-6GB VRAM으로 7B 모델 학습 가능
- • 학습 시간: T4 GPU 기준 500건 약 1-2시간