6

골든 데이터셋 작성 실습

골든 데이터셋과 검증

학습 목표
  • MVP CQ 를 GD 문항으로 변환한다
  • 정답셋 자체의 오류를 교차 검증으로 걸러낸다

골든 데이터셋 작성 실습

앞 과제의 서식으로 자기 GD v0.1을 만듭니다.

실습 순서

1. MVP CQ 에서 본문항을 뽑습니다.

CQ 하나당 문항 하나로 시작하세요. 카테고리(OP/PL/AN/CO)와 hop 수를 필드에 채웁니다.

2. gold_cypher 를 작성하고 실행합니다.

결과를 보고 expected를 채웁니다. type과 key_fields를 반드시 정하세요 — 나중에 채점기가 이걸로 비교합니다.

3. ⚠️ 정답셋 자체를 의심합니다.

정답이 틀리면 채점기가 옳은 답을 틀렸다고 판정합니다. 이게 가장 잡기 어려운 버그입니다.

  • 다른 경로로 같은 답이 나오는지 교차 확인하세요(예: 관계 방향을 반대로 타고 가기)
  • 결과가 비었을 때 데이터가 없는 것인지 질의가 틀린 것인지 반드시 가릅니다. 조건을 하나씩 빼며 어디서 결과가 나타나는지 보면 됩니다

4. 음성 문항을 15% 이상 넣습니다.

  • 존재하지 않는 개체("무지개호")
  • 기간 밖 조회(적재 범위 이전 날짜)
  • 조건을 만족하는 것이 실제로 없는 경우

정답은 빈 결과이고, 이 문항들이 나중에 "모른다고 답하는 능력"을 측정합니다.

5. 변형 질문을 2개씩 답니다.

같은 뜻을 다른 말로 씁니다. 구어체("늦게 들어온 배"), 축약형, 용어 대신 일상어. 지금 쓰는 게 가장 쌉니다.

산출물: GD v0.1 (YAML, 본문항 + 음성 15% + 변형 2개씩). 이 파일을 코스 4에서 그대로 재사용합니다.

에디터 로딩 중...
용어