40분
실습: 프로덕션급 API 클라이언트 구축
Day 3: API 활용 & 토큰 이해
실습: 프로덕션급 API 클라이언트 구축
LLM 기초 > Day 3: API 활용 & 토큰 이해
학습 목표
스트리밍, 에러 처리, 비용 추적을 포함한 API 클라이언트를 만든다 모델 라우팅 로직을 구현한다 대화 히스토리 관리를 구현한다
실습: 프로덕션급 API 클라이언트
스트리밍, 에러 처리, 비용 추적, 모델 라우팅을 모두 포함한 완전한 API 클라이언트를 만들어보세요.
요구사항
- 스트리밍 응답 지원
- 지수 백오프 재시도 (최대 3회)
- 토큰 사용량 & 비용 추적
- 대화 히스토리 관리 (최근 10개)
- 모델 라우팅 (간단/복잡 자동 분류)
에디터 로딩 중...
힌트 보기
- • CostTracker의 add()에서 모델별 가격표를 참조하세요
- • select_model()은 키워드 기반 간단 분류로 충분합니다
- • 스트리밍은 stream=True로 활성화하고 chunk를 순회합니다
- • ConversationManager의 _trim()에서 system 메시지는 항상 유지하세요
정답 보기
에디터 로딩 중...