배치 vs 스트리밍

둘 중 하나를 고르는 문제가 아니라 용도별로 나누는 문제입니다.

판단 기준은 "얼마나 늦어도 되는가"

용도	허용 지연	방식
설비 인터록·안전 정지	ms	제어계 (데이터 파이프라인 밖)
실시간 이상 경보	초~분	스트리밍
교대조 단위 품질 분석	시간	마이크로배치
월간 설비 종합 효율	일	배치

스트리밍이 비싸다는 사실

스트리밍은 멋있어 보이지만 운영 비용이 큽니다.

• 24시간 돌아가는 처리 자원
• 장애 시 유실·중복 처리 로직(정확히 한 번 처리)
• 순서가 뒤바뀐 데이터(late arrival) 처리

정말 초 단위가 필요한지 먼저 물어야 합니다. 대부분의 분석은 5분 배치로 충분합니다.

람다 구조 — 둘 다 쓰기

현실적인 절충안입니다.

              ┌→ 스트리밍 경로 → 실시간 경보 (근사값, 빠름)
원천 데이터 ──┤
              └→ 배치 경로 ────→ 정확한 집계·학습 (느림, 정확)

빠른 경로는 "지금 이상한가"를, 느린 경로는 "정확히 얼마였나"를 답합니다. 두 경로의 숫자가 다를 수 있다는 걸 미리 합의해 두어야 현장에서 혼란이 없습니다.