5분
소스 확보와 프로파일링
데이터 적재와 검증
소스 확보와 프로파일링
데이터 적재와 검증 > 데이터 적재와 검증
학습 목표
- 실제 데이터를 확보하고 이용 조건을 확인한다
- 프로파일 리포트로 CQ 판정을 확정한다
소스 확보와 건강검진
1. 확보와 조건 확인
범위에 맞는 공개 데이터를 받습니다. ⚠️ 이용 조건을 먼저 확인하고 출처를 기록하세요 — 나중에 사업화를 논할 때 이 기록이 제약을 결정합니다.
그리고 갱신주기를 실측합니다. 문서에 적힌 주기와 실제 최종수정일이 다른 경우가 있습니다.
2. 프로파일링
코스 3의 프로파일러를 재사용합니다. 검진 다섯 항목 — 스키마 추론 / 완전성 / 고유성·카디널리티 / 정합성 / 커버리지.
⚠️ 전부 문자열(dtype=str)로 읽습니다. 자동 타입 추론이 "0으로 시작하는 코드"를 훼손합니다.
3. 판정 확정
앞 모듈에서 추정으로 매긴 CQ 판정을 프로파일 숫자로 확정합니다.
"이 CQ 가 가능하다"고 말하려면 필요한 필드의 결측률과 표기 일관성을 숫자로 제시해야 합니다.
실습
- 소스별 프로파일 리포트를 생성합니다.
- unique_pct 상위 필드를 키 후보로 지목하고 실제로 키인지 확인합니다.
- samples 5개를 눈으로 봅니다 — 통계가 못 잡는 한글 깨짐·단위 혼재는 눈이 잡습니다.
- CQ 판정 매트릭스를 갱신하고, 판정이 바뀐 항목에 사유를 적습니다.
산출물: 프로파일 리포트 + 확정된 CQ 판정 매트릭스
에디터 로딩 중...