5

소스 확보와 프로파일링

데이터 적재와 검증

학습 목표
  • 실제 데이터를 확보하고 이용 조건을 확인한다
  • 프로파일 리포트로 CQ 판정을 확정한다

소스 확보와 건강검진

1. 확보와 조건 확인

범위에 맞는 공개 데이터를 받습니다. ⚠️ 이용 조건을 먼저 확인하고 출처를 기록하세요 — 나중에 사업화를 논할 때 이 기록이 제약을 결정합니다.

그리고 갱신주기를 실측합니다. 문서에 적힌 주기와 실제 최종수정일이 다른 경우가 있습니다.

2. 프로파일링

코스 3의 프로파일러를 재사용합니다. 검진 다섯 항목 — 스키마 추론 / 완전성 / 고유성·카디널리티 / 정합성 / 커버리지.

⚠️ 전부 문자열(dtype=str)로 읽습니다. 자동 타입 추론이 "0으로 시작하는 코드"를 훼손합니다.

3. 판정 확정

앞 모듈에서 추정으로 매긴 CQ 판정을 프로파일 숫자로 확정합니다.

"이 CQ 가 가능하다"고 말하려면 필요한 필드의 결측률과 표기 일관성을 숫자로 제시해야 합니다.

실습

  1. 소스별 프로파일 리포트를 생성합니다.
  2. unique_pct 상위 필드를 키 후보로 지목하고 실제로 키인지 확인합니다.
  3. samples 5개를 눈으로 봅니다 — 통계가 못 잡는 한글 깨짐·단위 혼재는 눈이 잡습니다.
  4. CQ 판정 매트릭스를 갱신하고, 판정이 바뀐 항목에 사유를 적습니다.

산출물: 프로파일 리포트 + 확정된 CQ 판정 매트릭스

에디터 로딩 중...
용어