2

검증의 문화

골든 데이터셋과 검증

학습 목표

도구보다 오래가는 검증 규율을 이해한다

검증의 문화 — 세 가지 다짐

도구보다 오래가는 것은 규율입니다. 이 프로젝트의 검증 3다짐입니다.

1. "통과한 CQ 만 말한다"

데모·보고·문서에서 시연하는 질문은 GD 통과 문항만 씁니다.

검증 안 된 질문의 즉석 시연은 사고의 지름길입니다. 시연장에서 처음 던져 본 질문이 그럴듯하게 틀린 답을 내면, 그 자리에서는 아무도 모르고 나중에 신뢰를 잃습니다.

2. "실패는 자산이다"

채점 실패 이력, 거부 레코드(앞 모듈), 감사 위반(V1) — 모두 축적합니다.

품질의 시계열이 곧 프로젝트 신뢰도의 증거 자료입니다. "우리 데이터 품질이 좋습니다"보다 "거부율이 6개월간 12%에서 3%로 내려왔습니다"가 훨씬 강한 말입니다.

3. "정답 없는 확장 금지"

새 CQ 추가는 GD 문항 작성과 동시에만 합니다.

코스 2 추적성 원칙("고아 클래스 금지")의 검증판입니다 — 고아 CQ 금지. 답할 수 있는지 확인되지 않은 질문을 목록에 올리면, 그 목록은 곧 희망사항이 됩니다.

이 모듈의 신규 용어

용어
골든 데이터셋 (GD)[질문, 정답 쿼리, 기대 결과]의 검증용 삼중쌍 모음. KG의 시험지+정답지
음성 문항 (negative case)정답이 "없음/빈 결과"인 문항. 할루시네이션 측정의 필수 재료
스냅숏 고정정답을 특정 적재분(snapshot_ref) 기준으로 못 박는 것
채점 하네스 (harness)GD를 자동 실행·비교·집계하는 채점기
회귀 (regression)되던 것이 변경 후 안 되는 현상. V3의 감시 대상
스키마 드리프트스펙 문서와 실제 DB 스키마가 조용히 어긋나는 현상 (A5가 탐지)
CI (지속 통합)변경마다 자동 검증을 강제하는 소프트웨어 규율. 우리는 그래프에 적용
용어