40분
실습: 프로덕션급 API 클라이언트 구축
Day 3: API 활용 & 토큰 이해
실습: 프로덕션급 API 클라이언트 구축
LLM 기초 > Day 3: API 활용 & 토큰 이해
학습 목표
스트리밍, 에러 처리, 비용 추적을 포함한 API 클라이언트를 만든다 모델 라우팅 로직을 구현한다 대화 히스토리 관리를 구현한다
실습: 프로덕션급 API 클라이언트
스트리밍, 에러 처리, 비용 추적, 모델 라우팅을 모두 포함한 완전한 API 클라이언트를 만들어보세요.
요구사항
- 스트리밍 응답 지원
- 지수 백오프 재시도 (최대 3회)
- 토큰 사용량 & 비용 추적
- 대화 히스토리 관리 (최근 10개)
- 모델 라우팅 (간단/복잡 자동 분류)
에디터 로딩 중...
힌트 보기
- • CostTracker의 add()에서 모델별 가격표를 참조하세요
- • select_model()은 키워드 기반 간단 분류로 충분합니다
- • 스트리밍은 stream=True로 활성화하고 chunk를 순회합니다
- • ConversationManager의 _trim()에서 system 메시지는 항상 유지하세요
정답 보기
에디터 로딩 중...
AI로 학습하기 — 꿀팁
🧪모델 라우팅 설계 질문AI 학습 팁
AI에게 질의 복잡도에 따라 gpt-4o와 gpt-4o-mini를 자동으로 라우팅하는 판단 기준과 토큰 비용 추적 구조를 물어보며 설계를 구체화하세요.
제조 AI 챗봇에서 단순 FAQ는 gpt-4o-mini, 복잡한 고장 진단 쿼리는 gpt-4o로 라우팅하려고 해. 라우팅 판단 기준(토큰 수, 키워드, 난이도 점수 등)을 어떻게 설계하고, Python 코드로 어떻게 구현할 수 있는지 설계 방안 3가지와 각각의 장단점을 코드 예시와 함께 알려줘.
이 팁이 도움이 됐나요?