Day 1 이해도 점검: LoRA/QLoRA 핵심 개념

파인튜닝 개요 & LoRA/QLoRA

QLoRA 파인튜닝 > 파인튜닝 개요 & LoRA/QLoRA

8문제

Q1. LoRA에서 "Low-Rank"가 의미하는 것은?

A. 모델의 정확도가 낮다B. 학습률이 낮다C. 가중치 변화량(deltaW)을 저차원 행렬로 분해한다D. 모델의 랭킹이 낮다

Q2. QLoRA의 NF4(NormalFloat 4-bit)가 일반 4비트 양자화보다 우수한 이유는?

A. 연산 속도가 더 빠르기 때문B. 정규분포를 따르는 가중치 분포에 최적화되었기 때문C. 더 많은 비트를 사용하기 때문D. 양자화를 하지 않기 때문

Q3. 7B 모델을 QLoRA로 학습할 때 최소 필요한 VRAM은 약?

A. 2GBB. 6GBC. 24GBD. 80GB

Q4. LoRA 설정에서 r=16, lora_alpha=32일 때 스케일링 계수는?

A. 0.5B. 1.0C. 2.0D. 16.0

Q5. 파인튜닝 대신 RAG가 더 적합한 상황은?

A. 도메인 전문 용어를 정확히 사용해야 할 때B. 오프라인 환경에서 운영해야 할 때C. 정보가 자주 업데이트되고 출처 명시가 중요할 때D. 일관된 JSON 형식 출력이 필요할 때

Q6. Unsloth가 QLoRA 학습을 가속하는 주요 방법은?

A. 모델 크기를 줄인다B. 학습 데이터를 줄인다C. 커스텀 CUDA 커널로 연산을 최적화한다D. 학습률을 높인다

Q7. LoRA의 target_modules에 ["q_proj", "k_proj", "v_proj", "o_proj"]를 지정하는 이유는?

A. MLP 레이어가 학습에 불필요하기 때문B. Attention 레이어가 언어 이해의 핵심이고, 최소 자원으로 최대 효과를 내기 위해C. Output 프로젝션만 학습하면 충분하기 때문D. Embedding 레이어는 수정할 수 없기 때문

Q8. QLoRA에서 "이중 양자화(Double Quantization)"란?

A. 모델을 두 번 양자화하는 것B. 양자화 상수(quantization constants)도 추가로 양자화하는 것C. 학습 데이터를 양자화하는 것D. 출력값을 양자화하는 것