영상 핵심 정리 — E2E 데이터 파이프라인 설계

이 영상은 Week 8의 시작으로, 제조 AI 통합 시스템의 전체 End-to-End 데이터 파이프라인을 설계하는 방법론을 다룬다. 개별 컴포넌트(RAG, Agent, KG)를 붙이는 방법이 아닌, 전체 시스템을 어떻게 설계하고 연결하는지를 다룬다.

---

1. E2E 파이프라인 4단계

┌─────────────────────────────────────────────────────────┐
│  [수집 계층]  MQTT 센서 → Kafka → 실시간 스트림         │
│  [처리 계층]  Spark Streaming → 이상 감지 → 전처리      │
│  [저장 계층]  벡터DB (Chroma/Pinecone) + PostgreSQL     │
│  [서빙 계층]  FastAPI → RAG+Agent → 사용자 UI           │
└─────────────────────────────────────────────────────────┘
              ↕ 모든 계층에 모니터링 (Prometheus/Grafana)

2. RAG vs Agent vs Knowledge Graph — 선택 기준

컴포넌트	언제 사용	제조 예시
RAG	문서 내 정보 검색	설비 매뉴얼 질의
Agent	다단계 추론 + 툴 호출	알람 → 진단 → 지시 생성
Knowledge Graph	관계 추론 (A가 B에 연결)	부품 → 설비 → 공정 의존성
RAG + Agent + KG	복합 쿼리	"이 부품 교체 시 영향받는 공정?"

3. MLOps 성숙도 단계

Level 0: 수동 실험 → 수동 배포 (스크립트 하나)
Level 1: ML 파이프라인 자동화 (학습 자동화)
Level 2: CI/CD ML 파이프라인 (코드 변경 → 자동 재학습·배포)

제조 AI MVP는 Level 0에서 시작해 Level 1 목표가 현실적이다

함정 주의: E2E 파이프라인 설계 초기에 '확장성'에 집착해 Kubernetes + Kafka + Spark 풀스택을 구성하면 개발 속도가 급격히 느려진다. MVP 단계에서는 FastAPI + SQLite + Chroma 같은 단순 스택으로 시작하고, 트래픽이 증가할 때 단계적으로 교체하는 전략이 합리적이다.

---

다음 task와의 연결

다음 reading 'RAG + Agent + KG 통합 아키텍처'에서는 오늘 개요로 다룬 세 컴포넌트를 실제 코드로 연결하는 패턴을 학습한다. LangChain의 GraphCypherQAChain과 LangGraph를 결합해 관계 추론과 문서 검색을 동시에 수행하는 에이전트 구현이 핵심이다.

스마트팩토리 AI 시스템의 E2E 데이터 파이프라인을 설계해줘. Kafka/MQTT 센서 수집 → Spark 전처리 → 벡터DB+RDB 저장 → FastAPI 서빙 순서로 각 단계의 기술 선택 이유를 포함하고, 설비 고장 예측에는 RAG·Agent·Knowledge Graph 중 어느 것을 쓸지, 그리고 MLOps 자동화 없이 수동 배포 시 발생하는 모델 드리프트 문제도 설명해줘.