2분
검증의 문화
골든 데이터셋과 검증
검증의 문화
골든 데이터셋과 검증 > 골든 데이터셋과 검증
학습 목표
도구보다 오래가는 검증 규율을 이해한다
검증의 문화 — 세 가지 다짐
도구보다 오래가는 것은 규율입니다. 이 프로젝트의 검증 3다짐입니다.
1. "통과한 CQ 만 말한다"
데모·보고·문서에서 시연하는 질문은 GD 통과 문항만 씁니다.
검증 안 된 질문의 즉석 시연은 사고의 지름길입니다. 시연장에서 처음 던져 본 질문이 그럴듯하게 틀린 답을 내면, 그 자리에서는 아무도 모르고 나중에 신뢰를 잃습니다.
2. "실패는 자산이다"
채점 실패 이력, 거부 레코드(앞 모듈), 감사 위반(V1) — 모두 축적합니다.
품질의 시계열이 곧 프로젝트 신뢰도의 증거 자료입니다. "우리 데이터 품질이 좋습니다"보다 "거부율이 6개월간 12%에서 3%로 내려왔습니다"가 훨씬 강한 말입니다.
3. "정답 없는 확장 금지"
새 CQ 추가는 GD 문항 작성과 동시에만 합니다.
코스 2 추적성 원칙("고아 클래스 금지")의 검증판입니다 — 고아 CQ 금지. 답할 수 있는지 확인되지 않은 질문을 목록에 올리면, 그 목록은 곧 희망사항이 됩니다.
이 모듈의 신규 용어
| 용어 | 뜻 |
|---|---|
| 골든 데이터셋 (GD) | [질문, 정답 쿼리, 기대 결과]의 검증용 삼중쌍 모음. KG의 시험지+정답지 |
| 음성 문항 (negative case) | 정답이 "없음/빈 결과"인 문항. 할루시네이션 측정의 필수 재료 |
| 스냅숏 고정 | 정답을 특정 적재분(snapshot_ref) 기준으로 못 박는 것 |
| 채점 하네스 (harness) | GD를 자동 실행·비교·집계하는 채점기 |
| 회귀 (regression) | 되던 것이 변경 후 안 되는 현상. V3의 감시 대상 |
| 스키마 드리프트 | 스펙 문서와 실제 DB 스키마가 조용히 어긋나는 현상 (A5가 탐지) |
| CI (지속 통합) | 변경마다 자동 검증을 강제하는 소프트웨어 규율. 우리는 그래프에 적용 |