6분
골든 데이터셋 작성 실습
골든 데이터셋과 검증
골든 데이터셋 작성 실습
골든 데이터셋과 검증 > 골든 데이터셋과 검증
학습 목표
- MVP CQ 를 GD 문항으로 변환한다
- 정답셋 자체의 오류를 교차 검증으로 걸러낸다
골든 데이터셋 작성 실습
앞 과제의 서식으로 자기 GD v0.1을 만듭니다.
실습 순서
1. MVP CQ 에서 본문항을 뽑습니다.
CQ 하나당 문항 하나로 시작하세요. 카테고리(OP/PL/AN/CO)와 hop 수를 필드에 채웁니다.
2. gold_cypher 를 작성하고 실행합니다.
결과를 보고 expected를 채웁니다. type과 key_fields를 반드시 정하세요 — 나중에 채점기가 이걸로 비교합니다.
3. ⚠️ 정답셋 자체를 의심합니다.
정답이 틀리면 채점기가 옳은 답을 틀렸다고 판정합니다. 이게 가장 잡기 어려운 버그입니다.
- 다른 경로로 같은 답이 나오는지 교차 확인하세요(예: 관계 방향을 반대로 타고 가기)
- 결과가 비었을 때 데이터가 없는 것인지 질의가 틀린 것인지 반드시 가릅니다. 조건을 하나씩 빼며 어디서 결과가 나타나는지 보면 됩니다
4. 음성 문항을 15% 이상 넣습니다.
- 존재하지 않는 개체("무지개호")
- 기간 밖 조회(적재 범위 이전 날짜)
- 조건을 만족하는 것이 실제로 없는 경우
정답은 빈 결과이고, 이 문항들이 나중에 "모른다고 답하는 능력"을 측정합니다.
5. 변형 질문을 2개씩 답니다.
같은 뜻을 다른 말로 씁니다. 구어체("늦게 들어온 배"), 축약형, 용어 대신 일상어. 지금 쓰는 게 가장 쌉니다.
산출물: GD v0.1 (YAML, 본문항 + 음성 15% + 변형 2개씩). 이 파일을 코스 4에서 그대로 재사용합니다.
에디터 로딩 중...