🏆40분
챌린지: ReAct vs 단순 Agent 비교 실험
Day 3: ReAct 에이전트
챌린지: ReAct vs 단순 Agent 비교 실험
AI Agent 기초 > Day 3: ReAct 에이전트
요구사항
Day 1의 단순 Agent와 Day 3의 ReAct Agent를 동일한 질문으로 비교한다
최소 5가지 질문(단순 1, 복합 2, 엣지케이스 2)으로 테스트한다
질문마다 기대 Tool 목록과 기대 답을 미리 적고, 실제 Tool 호출 횟수·토큰 사용량(response.usage)·응답 시간과 함께 대조 결과를 기록한다
비교 분석 보고서를 작성한다
평가 기준
- • ReAct Agent의 Thought가 논리적인가?
- • 불필요한 Tool 호출이 줄어들었는가?
- • 복합 질문에서 정확한 순서로 Tool을 호출하는가?
- • 정량적 비교(호출 횟수, 토큰 사용량, 기대 답과의 일치 여부)를 수행했는가?
- • 개선 포인트를 구체적으로 식별했는가?
보너스
- • 응답 시간의 분포(최악값 포함)까지 비교한 경우
- • 현장 엔지니어 5명 이상의 실제 질문으로 테스트한 경우
- • ReAct 프롬프트를 3회 이상 반복 개선(A/B 테스트)한 경우
AI로 학습하기 — 꿀팁
ReAct vs 단순 Agent 성능 비교 설계AI 학습 팁
AI에게 ReAct와 단순 Chain Agent의 비교 실험 설계를 검토받아 공정한 측정 기준과 시나리오를 확립하세요.
제조 설비 이상 진단에서 ReAct Agent와 단순 Chain Agent를 비교 실험하려 한다. 두 Agent의 차이가 잘 드러나는 테스트 시나리오 3가지(단순 조회, 다단계 추론, 예외 상황 대응)를 제안하고, 각 시나리오에서 측정할 지표(정확도, Tool 호출 횟수, 추론 단계 수)와 공정한 비교를 위한 실험 조건을 정리해줘.
이 팁이 도움이 됐나요?