55분
레이크 · 웨어하우스 · 레이크하우스
저장·표준화와 거버넌스
레이크 · 웨어하우스 · 레이크하우스
저장·표준화와 거버넌스 > 저장·표준화와 거버넌스
학습 목표
세 가지 저장 구조의 용도를 구분한다 제조 데이터에 맞는 조합을 고른다
어디에 무엇을 담을 것인가
데이터 레이크
원본을 형태 그대로 쌓아둡니다. 이미지·파형·로그 등 비정형 포함.
- 장점: 나중에 무엇을 할지 몰라도 일단 보존 가능
- 위험: 정리 없이 쌓기만 하면 데이터 늪(swamp) 이 됩니다 — 뭐가 있는지 아무도 모름
데이터 웨어하우스
분석 목적에 맞게 정제·구조화해 저장합니다.
- 장점: 질의가 빠르고 일관성 있음
- 한계: 스키마를 미리 정해야 해서 새로운 분석에 유연하지 않음
레이크하우스
레이크에 웨어하우스의 관리 기능(스키마·트랜잭션·버전)을 얹은 절충안.
제조 현장에 맞는 조합
| 데이터 | 위치 | 이유 |
|---|---|---|
| 고주파 원신호·검사 이미지 | 레이크 | 용량이 크고 비정형 |
| 설비별 시간 집계 지표 | 웨어하우스 / 시계열 DB | 대시보드·분석 질의 |
| 로트·품질·정비 이력 | 웨어하우스 | 관계형 분석 |
데이터 늪을 막는 최소 장치
- 적재 시각과 출처를 반드시 기록 (어디서 언제 왔는지)
- 카탈로그에 등록 — 무엇이 어디에 있는지 검색 가능하게
- 소유자 지정 — 관리 책임자가 없는 데이터는 결국 쓰레기가 됩니다