QLoRA 시뮬레이터 로딩 중...
이 도구가 못 하는 것
- 파인튜닝을 하지 않습니다. 학습이 한 스텝도 돌지 않습니다.
- 파라미터 수와 메모리는 실제 수식으로 계산합니다. 반면 손실 곡선은 해석식으로 그린 것이라 실제 학습 곡선이 아닙니다.
- α 는 유효 스케일 α/r 로만 곡선에 들어갑니다. α/r 이 2 에서 멀어지면 더 느리게·더 높은 손실에서 멈추도록 그린 것이고, 실제 학습에서 잰 값이 아닙니다.
- 과적합 경고와 검증 곡선의 반등은 같은 값을 봅니다. 다만 그 반등도 계산으로 그린 것이라, 진짜 과적합 판정은 실제 학습 로그로 해야 합니다.
- 메모리 계산에 활성화 메모리가 빠져 있습니다. 가중치·그래디언트·옵티마이저 상태까지만 세므로 실제 학습에 드는 VRAM 은 여기 적힌 값보다 큽니다. 배치와 문장 길이를 키울수록 차이가 벌어집니다.
- 설정이 실제 성능에 어떤 영향을 주는지는 이 화면이 답하지 못합니다. 크기와 메모리의 맞바꿈까지입니다.
- 카탈로그는 이 도구를 「외부 실습」으로 묶고 실제 학습은 Colab 에서 돌린다고 적지만, 지금 이 화면에는 Colab 으로 이어지는 링크도 학습 결과를 제출하는 자리도 없습니다. 노트북은 따로 받아야 합니다.
이 시뮬레이터가 무엇을 하는가기능 · 개념 · 연계 주차
LoRA rank·alpha·타깃 모듈·양자화를 조절하며 학습 파라미터·VRAM(실제 수식)·Mock 손실곡선을 실험. 소비자 GPU 파인튜닝 원리 체득.
01
LoRA rank·alpha 조절
저랭크 행렬의 랭크(r)와 스케일(α)을 직접 조절해 학습 파라미터 수와 유효 스케일(α/r) 변화를 확인합니다. α/r 은 손실 곡선의 모양에도 들어갑니다.
02
타깃 모듈 선택
q/k/v/o_proj와 MLP 모듈 중 어디에 LoRA 어댑터를 붙일지 선택하며 표현력·비용 트레이드오프를 체험합니다.
03
VRAM 근사 계산기
베이스 양자화 비트(4/8/16)·어댑터·옵티마이저 메모리를 실제 수식 기반으로 막대그래프로 시각화합니다.
04
손실 곡선 (해석식)
rank·α/r·데이터 규모를 넣으면 학습 손실과 검증 손실 두 곡선을 수식으로 즉시 계산해 그립니다. 학습을 돌린 결과가 아닙니다.
QLoRA 파인튜닝이란?
QLoRA는 베이스 모델을 4-bit로 양자화해 메모리를 크게 줄이고, 원본 가중치는 고정한 채 소수의 저랭크(LoRA) 어댑터만 학습하는 기법입니다. 이 시뮬레이터는 실제 수식에 근거한 파라미터·메모리 계산으로 소비자 GPU 파인튜닝의 원리를 체득하게 합니다.
- rank(r)·alpha(α): 어댑터의 표현력과 유효 스케일(α/r)을 결정 — 흔한 시작점은 r=8, α=16
- 4-bit 양자화: 베이스 모델 메모리를 16-bit 대비 약 1/4로 줄여 단일 GPU 파인튜닝을 가능하게 함
- 학습 파라미터가 전체의 1% 미만이어도 도메인 적응(제조 매뉴얼·불량 리포트 등)에 충분한 경우가 많음
써 보신 분만 아는 것이 있습니다
쓰다가 막힌 곳이나 현장과 다른 점을 알려주시면 다음 버전에 반영합니다. 보내주신 분께는 9월 추첨으로 스타벅스 쿠폰을 드립니다.