▶️25분

[영상] E2E 데이터 파이프라인 설계

시스템 아키텍처 설계

학습 목표

E2E AI 시스템의 데이터 파이프라인을 수집→처리→저장→서빙 4단계로 분해하고 각 단계의 기술 선택 기준을 설명할 수 있다 제조 AI 통합 시스템에서 RAG·Agent·Knowledge Graph를 각각 언제 사용하는지 판단할 수 있다 MLOps 성숙도 모델(수동→자동화→완전 CI/CD)의 단계를 설명하고 현재 팀의 위치를 평가할 수 있다 Week 8 주간 프로젝트의 시스템 아키텍처를 그려보고 주요 컴포넌트 간 데이터 흐름을 설명할 수 있다

플레이어 로딩 중...
핵심 포인트
  • • E2E 데이터 파이프라인은 '데이터 수집(Kafka/MQTT) → 전처리(Spark/Pandas) → 저장(벡터DB+RDB) → AI 서빙(FastAPI)' 순서로 설계한다
  • • RAG는 문서 검색, Agent는 다단계 추론·툴 사용, Knowledge Graph는 관계 추론이 필요할 때 선택한다 — 셋을 조합하면 더 강력하다
  • • MLOps 자동화 없이 수동 배포만 하면 모델 드리프트를 감지하지 못해 시간이 지날수록 정확도가 하락한다
  • • 아키텍처 설계 시 'Single Responsibility'를 유지해야 각 서비스를 독립적으로 스케일업·교체할 수 있다
다음