[AI Agent]

Tool Calling 기반 AI Agent 설계 전략

LLM을 대화형 모델에서 실행형 시스템으로

Tool Calling Decide and execute
Decide
도구 선택요청 의도에 맞는 외부 도구를 선택합니다.
Call
API / DB 실행LLM이 직접 실행하지 않고 실행 여부를 결정합니다.
Handle
실패 처리지연, 오류, 비정상 결과에 대비한 대안 경로를 둡니다.
Respond
결과 해석도구 실행 결과를 업무 맥락에 맞게 해석해 응답합니다.
이 글의 핵심
  • Tool Calling은 LLM을 대화형 모델에서 실행형 에이전트로 확장하는 핵심 구조다.
  • 도구는 개수보다 역할이 명확하고 실패를 처리할 수 있는지가 중요하다.
  • RAG는 지식을 가져오고 도구는 행동을 실행하도록 역할을 나눠야 한다.

기업이 AI 에이전트를 도입하는 이유는 분명하다. 답변에 그치지 않고 실제 업무를 처리하게 하려는 것이다.

그 핵심 구조가 Tool Calling이다.

Tool Calling이 필요한 이유

LLM은 기본적으로 텍스트를 생성하는 모델이다. 성능이 좋아도 스스로는 다음 작업을 할 수 없다.

  • DB를 조회할 수 없다.
  • API를 호출할 수 없다.
  • 시스템을 변경할 수 없다.

그래서 에이전트는 필요한 시점에 외부 도구를 호출하도록 설계해야 한다.

Tool Calling의 기본 구조

Tool Calling 기반 에이전트는 보통 다음 흐름을 따른다.

  1. 사용자 요청
  2. 의도 분석
  3. 사용할 도구 결정
  4. 도구 실행
  5. 결과 수신
  6. 결과 해석
  7. 최종 응답

여기서 LLM은 도구를 직접 실행하지 않는다. 실행할지 말지를 결정할 뿐이다.

도구는 많을수록 좋지 않다

초기 에이전트 설계에서 흔한 실수는 도구를 너무 많이 연결하는 것이다.

도구가 많을수록 선택 오류가 늘고 디버깅이 어려워진다.

실무에서는 꼭 필요한 도구부터 시작하고, 역할이 명확한 도구만 추가한다. 역할이 분명한 소수의 도구가 훨씬 효과적이다.

실패를 고려한 도구 설계

기업용 에이전트는 도구 호출 실패를 반드시 고려해야 한다.

  • API 실패
  • 응답 지연
  • 비정상 결과

그래서 에이전트에는 도구 호출이 실패했을 때의 대안 경로가 있어야 하고, 사용자에게 현재 상태를 설명할 수 있어야 한다.

실패 처리 설계가 없으면 에이전트는 신뢰를 잃는다.

Tool Calling과 RAG의 역할 분리

RAG와 Tool Calling의 역할도 명확히 나눠야 한다.

  • RAG는 지식을 가져온다.
  • 도구는 행동을 실행한다.

두 역할의 구분이 흐려지면 에이전트 구조가 복잡해지고 유지보수가 어려워진다.

Tool Calling은 AI 에이전트를 대화형 시스템에서 실행형 시스템으로 확장하는 핵심 요소다.

RAG, Tool Calling, 고정 워크플로를 구분해야 한다

업무 단계별 적합한 실행 방식
방식무엇을 하는가적합한 예통제 포인트
RAG문서·이력·테이블에서 근거를 검색규정 확인, 유사사례 검색권한 필터, 검색 품질, 출처 표시
Tool Calling정의된 함수나 외부 시스템을 호출재고 조회, 작업지시 생성, 알림 발송입력 스키마, 권한, 타임아웃, 재시도
고정 워크플로코드로 정한 순서를 그대로 실행필수 승인, 결제·정산 마감LLM 판단에 맡기지 않을 단계 명시

사람 승인이 필요한 도구는 어떻게 정하는가

직접 답변

금액, 권한, 안전, 외부 발송, 삭제처럼 되돌리기 어렵거나 책임이 발생하는 도구는 실행 전에 사람 승인을 받아야 한다. 읽기 전용 조회나 초안 생성은 자동화할 수 있지만, 최종 승인과 실제 시스템 변경은 별도 정책으로 분리해 두는 편이 안전하다.

03 산업안전 데모

STOP 근거와 보완조치를 제안하지만 실제 작업승인은 현장 책임자가 결정하도록 답변에 명시한다.

01 제조 품질 데모

원인·리콜·보증·비용을 확정하지 않고 품질책임자의 승인 전까지 후보로 유지한다.

관련 에이전트 데모

Reference Demo 03산업안전·작업허가 Agent

위험요인 검색, STOP/HOLD 판단 보조와 담당자 승인 경계를 확인합니다.

데모 실행 ↗
Reference Demo 04전기차 충전기 장애대응 Agent

장애 근거 검색과 현장 조치·출동 우선순위 제안을 확인합니다.

데모 실행 ↗
Reference Demo 10B2B 유지보수 SLA·정산 Agent

계약·처리 이력을 검토하되 정산 확정은 담당자에게 남깁니다.

데모 실행 ↗
Demo Hub산업별 16개 전체 데모

도구 호출과 승인 설계를 적용할 수 있는 업무 시나리오를 확인합니다.

전체 데모 보기
공식 참고 자료
콘텐츠 검증 정보

작성·검증: KMWORKS AI Tech Lab. 공개 Reference Demo 01·03의 실제 응답에서 근거 표시와 최종 승인 유보 여부를 확인했다. 고객 운영 사례가 아니라 샘플 데이터 기반 기술 검증이다.

정리하며

Tool Calling은 AI 에이전트가 실제 업무를 실행하게 하는 핵심 요소다. 다만 Tool Calling 자체가 목적이 되어서는 안 된다.

언제, 왜, 어떤 도구를 호출할지 정하는 설계 판단이 먼저다.