30

Alpaca vs ShareGPT vs ChatML: 데이터 형식 완전 정리

학습 데이터 준비

학습 목표

주요 파인튜닝 데이터 형식 3가지를 구분할 수 있다 제조 도메인에 적합한 형식을 선택할 수 있다 각 형식의 토큰화 방식과 특수 토큰을 이해한다

파인튜닝 데이터 형식

형식 1: Alpaca (가장 간단)

{
  "instruction": "CNC 머시닝센터에서 AL-3012 알람이 발생했습니다. 원인과 조치를 알려주세요.",
  "input": "스핀들 온도: 78도, 냉각수 압력: 정상, 가동 시간: 6시간",
  "output": "## AL-3012: 스핀들 과열 알람\n\n### 원인 분석\n현재 스핀들 온도 78도는 경고 임계값(75도)을 초과했습니다.\n냉각수 압력이 정상이므로, 가능한 원인:\n1. 베어링 마모 (6시간 연속 가동 시 발생 가능)\n2. 윤활유 부족\n3. 과부하 절삭 조건\n\n### 즉시 조치\n1. 스핀들 정지 (비상정지 아닌 정상 정지)\n2. 30분 냉각 대기\n3. 베어링 상태 점검 (진동 측정)\n4. 윤활유 레벨 확인\n5. 절삭 조건 재검토\n\n### 주의사항\n- LOTO 절차 준수 필수\n- 온도 80도 초과 시 즉시 비상정지"
}

특징: instruction + input(선택) + output 3필드 적합: 단일 턴 Q&A, 지시 수행 제조 활용: 장비 알람 대응, 매뉴얼 Q&A

형식 2: ShareGPT (멀티턴 대화)

{
  "conversations": [
    {
      "from": "human",
      "value": "사출성형기에서 은줄(Silver Streak) 불량이 발생하고 있습니다."
    },
    {
      "from": "gpt",
      "value": "은줄 불량은 수분이나 가스가 원인인 경우가 많습니다. 몇 가지 확인해볼게요.\n\n1. 원재료 건조 상태는 확인하셨나요?\n2. 현재 사용 중인 수지 종류는 무엇인가요?\n3. 실린더 온도 설정값을 알려주세요."
    },
    {
      "from": "human",
      "value": "PA66 수지를 사용하고 있고, 건조기 온도 80도에서 4시간 건조했습니다. 실린더 온도는 280도입니다."
    },
    {
      "from": "gpt",
      "value": "문제를 찾았습니다!\n\n## 원인: 건조 부족\n\nPA66 수지의 올바른 건조 조건:\n- 건조 온도: **85~90도** (현재 80도 -> 부족)\n- 건조 시간: **최소 6시간** (현재 4시간 -> 부족)\n- 수분 함량 기준: 0.1% 이하\n\n## 즉시 조치\n1. 건조 온도를 90도로 상향\n2. 건조 시간을 최소 6시간으로 연장\n3. 수분 측정기로 잔류 수분 확인 (0.1% 이하)\n\n## 추가 확인\n- 실린더 온도 280도는 PA66 기준 적정 범위입니다\n- 건조 조건 개선 후에도 은줄 지속 시 노즐 온도와 배압 점검 필요"
    }
  ]
}

특징: 멀티턴 대화, human/gpt 역할 구분 적합: 대화형 진단, 단계적 트러블슈팅 제조 활용: 불량 원인 분석, 고장 진단 대화

형식 3: ChatML (OpenAI 스타일)

{
  "messages": [
    {
      "role": "system",
      "content": "당신은 제조 현장 전문 엔지니어입니다. 안전을 최우선으로 하며, 구체적인 수치와 절차를 포함하여 답변합니다."
    },
    {
      "role": "user",
      "content": "유압 프레스에서 비정상 진동이 발생합니다. 주파수 분석 결과 12Hz와 48Hz에서 피크가 나타납니다."
    },
    {
      "role": "assistant",
      "content": "## 진동 분석 결과\n\n### 12Hz 피크: 기계적 불균형\n- 가능 원인: 플라이휠 불균형, 커넥팅 로드 마모\n- 확인: 동적 밸런싱 측정\n- 허용 기준: ISO 10816-3 Zone B 이하\n\n### 48Hz 피크: 유압 맥동\n- 가능 원인: 유압 펌프 마모 (4날개 x 12Hz = 48Hz)\n- 확인: 유압 압력 파형 측정\n- 허용 기준: 맥동률 10% 이하\n\n### 권장 조치 순서\n1. 안전 잠금 후 육안 검사\n2. 유압유 샘플 채취 (오염도 검사)\n3. 펌프 출구 압력 파형 측정\n4. 플라이휠 동적 밸런싱 확인"
    }
  ]
}

특징: system/user/assistant 역할, 시스템 프롬프트 포함 적합: 역할 정의가 필요한 전문가 시스템 제조 활용: 안전 규정 준수 챗봇, 전문가 시스템

형식 비교 요약

항목AlpacaShareGPTChatML
턴 수단일멀티멀티
시스템 프롬프트없음없음있음
난이도쉬움보통보통
토큰 효율높음보통보통
제조 추천매뉴얼 Q&A진단 대화전문가 시스템

우리의 선택: Alpaca 형식으로 시작

이유:
1. 가장 간단하고 변환이 쉬움
2. 단일 턴 Q&A로 충분한 제조 시나리오가 많음
3. 데이터 제작 비용이 낮음
4. 나중에 ShareGPT/ChatML로 확장 가능

제조 Alpaca 템플릿:
{
  "instruction": "[질문 또는 지시]",
  "input": "[추가 컨텍스트: 장비 정보, 측정값 등]",
  "output": "[구조화된 답변: 원인-조치-주의사항]"
}
AI로 학습하기 — 꿀팁
🤖Alpaca/ShareGPT/ChatML 형식 변환 예시AI 학습 팁

제조 설비 Q&A를 Alpaca, ShareGPT, ChatML 세 형식으로 각각 변환한 예시를 나란히 보면 어떤 경우에 어떤 형식이 맞는지 바로 판단됩니다.

다음 제조 도메인 Q&A 하나를 Alpaca, ShareGPT, ChatML 세 가지 파인튜닝 데이터 형식으로 각각 변환해줘. 원본: [질문] '갑작스러운 유압 압력 강하 알람이 발생했을 때 1차 점검 순서는?' [답변] '①유압 오일 레벨 확인 ②유압 펌프 압력 게이지 측정 ③배관 누유 육안 점검 ④필터 막힘 여부 확인 순서로 점검한다.' 각 형식의 JSON 예시와 해당 형식이 언제 적합한지 한 줄 코멘트를 달아줘.
이 팁이 도움이 됐나요?
핵심 포인트
  • Alpaca: 단일턴, 간단, 매뉴얼 Q&A에 최적
  • ShareGPT: 멀티턴, 진단 대화에 적합
  • ChatML: 시스템 프롬프트 포함, 전문가 시스템
  • 입문자는 Alpaca로 시작 -> 익숙해지면 ShareGPT/ChatML 확장