토큰 경제학 (Token Economics)

---

토큰화 실제 확인

import tiktoken

# GPT-4o 토크나이저
enc = tiktoken.encoding_for_model("gpt-4o")

# 영어 토큰화
en_text = "Replace the bearing of the CNC spindle motor"
en_tokens = enc.encode(en_text)
print(f"영어: {len(en_tokens)} 토큰")  # 약 9 토큰

# 한글 토큰화
ko_text = "CNC 주축 모터의 베어링을 교체하세요"
ko_tokens = enc.encode(ko_text)
print(f"한글: {len(ko_tokens)} 토큰")  # 약 22 토큰

# 2.4배 차이!

▲ Python → OpenAI API → JSON 응답: 전체 데이터 흐름

---

한글 토큰 비용 계산

[제조 Q&A 1회 비용 계산]

시스템 프롬프트 (한글): ~500 토큰
사용자 질문 (한글):     ~200 토큰
───────────────────────────────
입력 합계:              ~700 토큰

AI 응답 (한글):         ~800 토큰
───────────────────────────────
출력 합계:              ~800 토큰

GPT-4o-mini 기준:
입력 비용: 700 / 1,000,000 x $0.15 = $0.000105
출력 비용: 800 / 1,000,000 x $0.60 = $0.000480
1회 비용: $0.000585 (약 0.8원)

하루 100회 사용: 약 80원
한 달(30일): 약 2,400원

[GPT-4o로 같은 사용량이면?]

입력 비용: 700 / 1,000,000 x $2.50 = $0.00175
출력 비용: 800 / 1,000,000 x $10.00 = $0.00800
1회 비용: $0.00975 (약 13원)

한 달: 약 39,000원
→ GPT-4o-mini 대비 16배!

---

비용 최적화 전략

[전략 1: 모델 라우팅]

질문 분류 → 적절한 모델 배정

간단한 질문 (80%):
  "알람 코드 410이 뭐야?"
  → GPT-4o-mini (저비용)

복잡한 분석 (15%):
  "불량 원인을 4M으로 분석해줘"
  → GPT-4o (고성능)

특수 업무 (5%):
  "2,000페이지 매뉴얼 분석"
  → Claude Sonnet 4 (긴 컨텍스트)

[전략 2: 프롬프트 최적화]

Before:
  시스템 프롬프트: 2,000 토큰
  (장황한 설명, 불필요한 예시)

After:
  시스템 프롬프트: 500 토큰
  (핵심 역할 + 원칙만)

절감: 매 호출마다 1,500 토큰 절약
  = 월 4,500,000 토큰 절약 (100회/일 기준)

[전략 3: 응답 캐싱]

같은 질문이 반복되면 캐시에서 응답 반환
→ API 호출 자체를 줄임

구현:
  질문 해시 → 캐시 확인 → 있으면 바로 반환
  → 없으면 API 호출 → 캐시 저장

---

max_tokens vs 컨텍스트 윈도우

[흔한 오해]
"max_tokens=1000이면 입력도 1000까지?"
→ 아닙니다!

[실제 구조]
컨텍스트 윈도우 (128K) = 입력 토큰 + 출력 토큰

max_tokens는 "출력 제한"만 설정합니다.

예시:
  컨텍스트: 128,000 토큰
  입력: 5,000 토큰 (시스템 + 사용자)
  max_tokens: 1,000 (출력 제한)
  → 실제 사용: 6,000 / 128,000

주의:
  max_tokens를 너무 작게 설정하면
  답변이 중간에 잘립니다!
  "The spindle motor should be replaced with..."
  (완료되지 않은 답변)