55

레이크 · 웨어하우스 · 레이크하우스

저장·표준화와 거버넌스

학습 목표

세 가지 저장 구조의 용도를 구분한다 제조 데이터에 맞는 조합을 고른다

어디에 무엇을 담을 것인가

데이터 레이크

원본을 형태 그대로 쌓아둡니다. 이미지·파형·로그 등 비정형 포함.

  • 장점: 나중에 무엇을 할지 몰라도 일단 보존 가능
  • 위험: 정리 없이 쌓기만 하면 데이터 늪(swamp) 이 됩니다 — 뭐가 있는지 아무도 모름

데이터 웨어하우스

분석 목적에 맞게 정제·구조화해 저장합니다.

  • 장점: 질의가 빠르고 일관성 있음
  • 한계: 스키마를 미리 정해야 해서 새로운 분석에 유연하지 않음

레이크하우스

레이크에 웨어하우스의 관리 기능(스키마·트랜잭션·버전)을 얹은 절충안.

제조 현장에 맞는 조합

데이터위치이유
고주파 원신호·검사 이미지레이크용량이 크고 비정형
설비별 시간 집계 지표웨어하우스 / 시계열 DB대시보드·분석 질의
로트·품질·정비 이력웨어하우스관계형 분석

데이터 늪을 막는 최소 장치

  1. 적재 시각과 출처를 반드시 기록 (어디서 언제 왔는지)
  2. 카탈로그에 등록 — 무엇이 어디에 있는지 검색 가능하게
  3. 소유자 지정 — 관리 책임자가 없는 데이터는 결국 쓰레기가 됩니다