비용은 어디서 늘어나는가

에이전트 시스템은 쓸수록 비용이 눈에 보입니다. 주된 원인은 세 가지입니다.

1. 대화 전체를 계속 넘기는 것

단계마다 앞의 모든 내용을 함께 보내면, 단계가 늘어날수록 입력이 누적됩니다.

대응: 핸드오프에서 요약만 넘깁니다. 원본이 필요하면 참조(문서 ID, 데이터 위치)를 넘기고 받는 쪽이 도구로 다시 가져오게 합니다.

2. 도구 응답이 너무 큰 것

센서 데이터 3만 건을 그대로 넣으면 토큰이 폭증하고, 모델은 그걸 다 읽지도 못합니다.

대응: 도구가 집계된 결과를 돌려주게 만듭니다. 원시 데이터가 아니라 통계 지표, 이상 구간 목록, 상위 N개 같은 형태로요. 이것은 도구 설계 문제입니다.

3. 헛도는 반복

목표가 모호해 같은 일을 반복합니다.

대응: 종료 조건을 명시하고 최대 단계 수를 제한합니다. 3모듈의 가드레일에서 다룹니다.

모델을 나눠 쓰기

모든 단계에 가장 큰 모델을 쓸 필요는 없습니다.

단계	모델
형식 변환, 분류, 요약	작고 빠른 모델
원인 추론, 판단이 필요한 단계	큰 모델

단순 작업에 큰 모델을 쓰는 것이 가장 흔한 낭비입니다.

줄이기와 품질의 균형

비용을 줄이려다 품질을 떨어뜨리면 의미가 없습니다. 줄인 뒤에 같은 시험 문제로 결과를 비교하세요. 정답률이 유지되는 범위에서만 줄이는 것이 원칙입니다.

측정 없이 최적화하면, 싸지만 쓸모없는 시스템이 됩니다.