영상 핵심 정리 — FastAPI + GCP 딥러닝 모델 배포

이 영상은 파인튜닝된 제조 AI 모델을 FastAPI로 API화하고 GCP Cloud Run에 배포하는 전체 과정을 실습한다. 컨테이너 이미지 최소화부터 프로덕션 운영 설정까지 다룬다.

1. FastAPI 모델 서빙 구조

from fastapi import FastAPI
from contextlib import asynccontextmanager
from transformers import pipeline

ml_models = {}

@asynccontextmanager
async def lifespan(app: FastAPI):
    ml_models['mfg_llm'] = pipeline(
        'text-generation',
        model='./mfg-llama-merged',
        device_map='auto'
    )
    yield
    ml_models.clear()

app = FastAPI(lifespan=lifespan)

@app.post('/api/diagnose')
async def diagnose(request: AlarmRequest):
    prompt = f'설비 {request.machine_id}, 알람 {request.alarm_code}: '
    result = ml_models['mfg_llm'](prompt, max_new_tokens=200)
    return {'diagnosis': result[0]['generated_text']}

2. Dockerfile — 이미지 최소화 전략

FROM python:3.11-slim
WORKDIR /app

COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt

COPY . .

EXPOSE 8080
CMD ["uvicorn", "main:app", "--host", "0.0.0.0", "--port", "8080"]

3. GCP Cloud Run 배포

gcloud builds submit --tag gcr.io/PROJECT_ID/mfg-api

gcloud run deploy mfg-api \
  --image gcr.io/PROJECT_ID/mfg-api \
  --platform managed \
  --region asia-northeast3 \
  --memory 4Gi --cpu 2 \
  --min-instances 1 --max-instances 10 \
  --allow-unauthenticated

함정 주의: Cloud Run 기본 타임아웃은 300초(5분)다. 대형 모델의 첫 추론 요청이 이를 초과하면 503 에러가 발생한다. --timeout 900으로 늘리거나, 모델 워밍업 엔드포인트(/warmup)를 만들어 배포 후 즉시 호출하는 방식으로 해결한다.

다음 task와의 연결

다음 reading 'Streamlit으로 제조 AI UI 30분 만들기'에서는 오늘 배포한 FastAPI 엔드포인트를 Streamlit UI에 연결하는 방법을 배운다. requests.post()로 API를 호출하고 스트리밍 응답을 실시간 표시하는 코드가 핵심이다.