ETL 의 전체 그림 — 다섯 정거장

우리 파이프라인은 다섯 정거장을 지납니다. 각 정거장의 산출물을 파일로 남기는 것이 원칙입니다 — 중간 산출물이 없는 파이프라인은 디버깅이 불가능합니다.

[원천 수집]         [프로파일]        [정제·검증(L2)]     [매핑 변환]        [적재]
raw/*.csv     →   reports/*.json  →  clean/*.csv    →  staged/*.csv   →  Neo4j
(원본 불변 보존)    (앞 모듈 프로파일러)  (거부 레코드 격리)   (그래프 모양으로)    (MERGE 멱등)

헌법 2조

① 원본 불변 (raw 는 읽기 전용)

앞 모듈의 함정 5(신고 데이터의 본성)에서 봤듯 원본이 곧 증거입니다. 모든 수정은 사본에서 합니다. 원본을 고치기 시작하면 "원래 뭐였지?"에 답할 수 없게 되고, 신고-실적 대조(AN-10)의 근거가 사라집니다.

② 거부는 버리지 않는다

L2 검증 탈락 레코드는 삭제가 아니라 rejected/ 폴더에 사유와 함께 격리합니다.

거부 목록이 곧 두 가지가 됩니다 — 데이터 품질 CQ(CO-03류)의 답이자, 원천 기관에 보낼 품질 피드백입니다. 버렸다면 둘 다 없습니다.

💡 이 두 조항은 "나중에 필요할까 봐"가 아닙니다. 앞 모듈에서 확정한 CQ들이 실제로 요구하는 것입니다. 설계가 운영 규칙을 정하는 순간입니다.