45분
실습: HuggingFace Dataset 포맷으로 변환 & 업로드
학습 데이터 준비
실습: HuggingFace Dataset 포맷으로 변환 & 업로드
QLoRA 파인튜닝 > 학습 데이터 준비
학습 목표
Alpaca 형식 데이터를 HuggingFace Dataset으로 변환한다 Prompt 템플릿을 적용하여 학습 텍스트를 생성한다 Train/Validation 분할을 수행한다
HuggingFace Dataset 변환
핵심: Prompt 템플릿
- 원본 데이터(JSON) -> 프롬프트 템플릿 적용 -> 하나의 텍스트 문자열
- 모델은 이 텍스트를 "다음 토큰 예측"으로 학습
에디터 로딩 중...
힌트 보기
- • format_alpaca: input이 있으면 3필드 템플릿, 없으면 2필드 템플릿 사용
- • val_ratio=0.1 (10%)이 표준, 데이터가 적으면 0.2까지 가능
- • JSONL 형식: 한 줄에 하나의 JSON 객체
정답 보기
에디터 로딩 중...
AI로 학습하기 — 꿀팁
🤖HuggingFace Dataset 변환 코드 생성AI 학습 팁
AI에게 Alpaca 형식 JSON 경로를 알려주면 프롬프트 템플릿 적용·train/val 분할·datasets.push_to_hub 업로드 코드를 생성해줍니다.
제조 Q&A Alpaca 데이터를 HuggingFace Dataset으로 변환하고 업로드하는 Python 스크립트를 작성해줘. Alpaca 프롬프트 템플릿 적용(instruction+input→prompt 컬럼), train/val 90:10 분할, datasets 라이브러리로 변환 후 push_to_hub, Llama-3 tokenizer로 token 길이 분포 확인하는 코드도 포함해줘.
이 팁이 도움이 됐나요?