토큰 경제학: 비용을 예측하고 관리하는 법

토큰 경제학 (Token Economics)

토큰화 실제 확인

import tiktoken

# GPT-4o 토크나이저 (o200k_base)
enc = tiktoken.encoding_for_model("gpt-4o")

en_text = "Replace the bearing of the CNC spindle motor"
ko_text = "CNC 주축 모터의 베어링을 교체하세요"

en = len(enc.encode(en_text))   # 8 토큰
ko = len(enc.encode(ko_text))   # 14 토큰

print(f"영어 {en} 토큰 / 한글 {ko} 토큰 → {ko / en:.2f}배")
# 실행 결과: 영어 8 토큰 / 한글 14 토큰 → 1.75배

위 값은 tiktoken 0.14.0의 o200k_base로 직접 잰 것이다. 토크나이저가 바뀌면 배수도 바뀐다. 같은 두 문장을 옛 GPT-3.5·GPT-4의 cl100k_base로 재면 19 대 8, 곧 2.4배가 나온다. 흔히 인용되는 "한글은 2~3배"는 그쪽 기준이고, 이 주차가 쓰는 GPT-4o 계열에는 해당하지 않는다.

old = tiktoken.get_encoding("cl100k_base")
print(len(old.encode(ko_text)), len(old.encode(en_text)))  # 19 8

▲ Python → OpenAI API → JSON 응답: 전체 데이터 흐름

한글 토큰 비용 계산

[제조 Q&A 1회 비용 계산]

시스템 프롬프트 (한글): ~500 토큰
사용자 질문 (한글):     ~200 토큰
───────────────────────────────
입력 합계:              ~700 토큰

AI 응답 (한글):         ~800 토큰
───────────────────────────────
출력 합계:              ~800 토큰

GPT-4o-mini 기준:
입력 비용: 700 / 1,000,000 x $0.15 = $0.000105
출력 비용: 800 / 1,000,000 x $0.60 = $0.000480
1회 비용: $0.000585 (약 0.8원)

하루 100회 사용: 약 80원
한 달(30일): 약 2,400원

[GPT-4o로 같은 사용량이면?]

입력 비용: 700 / 1,000,000 x $2.50 = $0.00175
출력 비용: 800 / 1,000,000 x $10.00 = $0.00800
1회 비용: $0.00975 (약 13원)

한 달: 약 39,000원
→ GPT-4o-mini 대비 16배!

비용 최적화 전략

[전략 1: 모델 라우팅]

질문 분류 → 적절한 모델 배정

간단한 질문 (80%):
  "알람 코드 410이 뭐야?"
  → GPT-4o-mini (저비용)

복잡한 분석 (15%):
  "불량 원인을 4M으로 분석해줘"
  → GPT-4o (고성능)

특수 업무 (5%):
  "2,000페이지 매뉴얼 분석"
  → Claude Sonnet 4 (긴 컨텍스트)

[전략 2: 프롬프트 최적화]

Before:
  시스템 프롬프트: 2,000 토큰
  (장황한 설명, 불필요한 예시)

After:
  시스템 프롬프트: 500 토큰
  (핵심 역할 + 원칙만)

절감: 매 호출마다 1,500 토큰 절약
  = 월 4,500,000 토큰 절약 (100회/일 기준)

[전략 3: 응답 캐싱]

같은 질문이 반복되면 캐시에서 응답 반환
→ API 호출 자체를 줄임

구현:
  질문 해시 → 캐시 확인 → 있으면 바로 반환
  → 없으면 API 호출 → 캐시 저장

max_tokens vs 컨텍스트 윈도우

[흔한 오해]
"max_tokens=1000이면 입력도 1000까지?"
→ 아닙니다!

[실제 구조]
컨텍스트 윈도우 (128K) = 입력 토큰 + 출력 토큰

max_tokens는 "출력 제한"만 설정합니다.

예시:
  컨텍스트: 128,000 토큰
  입력: 5,000 토큰 (시스템 + 사용자)
  max_tokens: 1,000 (출력 제한)
  → 실제 사용: 6,000 / 128,000

주의:
  max_tokens를 너무 작게 설정하면
  답변이 중간에 잘립니다!
  "The spindle motor should be replaced with..."
  (완료되지 않은 답변)