첫 달 API 청구서

제조 AI 시스템을 도입한 D 회사의 이야기.

3월 1일, AI 챗봇을 사내에 배포했다. 엔지니어 50명이 하루 평균 20번씩 질문한다. "잘 돌아가네!" 다들 만족했다.

3월 31일, 청구서가 도착했다.

[OpenAI API 3월 청구서]

모델: GPT-4o
일일 사용량: 50명 x 20회 = 1,000회/일
평균 토큰: 입력 3,000 + 출력 2,000 = 5,000/회

월 토큰 사용량:
  입력: 1,000 x 3,000 x 30 = 90,000,000 (90M)
  출력: 1,000 x 2,000 x 30 = 60,000,000 (60M)

비용:
  입력: 90M / 1M x $2.50 = $225
  출력: 60M / 1M x $10.00 = $600
  합계: $825/월 (약 110만원)

예산: 30만원/월

→ 예산 대비 3.7배 초과!!

어디서 잘못된 걸까?

[실수 분석]

1. 모델 선택 실수
   GPT-4o를 모든 질문에 사용
   → 간단한 질문도 비싼 모델로 처리

2. 토큰 낭비
   시스템 프롬프트가 2,000 토큰
   → 매 질문마다 2,000 토큰 반복 소비

3. max_tokens 미설정
   제한 없이 응답 생성
   → 불필요하게 긴 답변

4. 캐싱 미적용
   같은 질문이 반복되는데 매번 API 호출
   → 동일 답변에 중복 비용

최적화 후

[최적화 결과]

1. 모델 분류 사용
   간단한 Q&A (80%): GPT-4o-mini ($0.15/$0.60)
   복잡한 분석 (20%): GPT-4o ($2.50/$10.00)

2. 시스템 프롬프트 축소
   2,000 → 500 토큰 (핵심만)

3. max_tokens 설정
   간단: 500, 분석: 1,500

4. 응답 캐싱
   동일 질문 50% 캐시 히트

최적화 후 비용: $95/월 (약 13만원)
절감: 88%!

오늘 배울 것:

• 토큰이 정확히 뭔지
• API를 효율적으로 쓰는 법
• 스트리밍으로 사용자 경험 개선
• 에러 처리로 안정성 확보