- 기업용 AI 에이전트에는 개인용 챗봇의 대화 능력보다 업무 맥락과 근거를 통제하는 구조가 필요하다.
- 기본 구조는 의도 분석, RAG 또는 일반 생성 경로, LLM 생성, 응답 제어로 나뉜다.
- 좋은 아키텍처는 왜 답변이 나왔는지, 언제 비용이 늘어나는지 설명할 수 있어야 한다.
“AI 에이전트를 도입해 보자”는 논의는 이제 낯설지 않다. 하지만 실제 프로젝트에서는 많은 조직이 챗봇 수준을 넘지 못한 채 멈추는 경우를 자주 본다.
원인은 모델보다 아키텍처에 있다. 이 글은 기업 환경에서 실제로 동작하는 AI 에이전트 아키텍처의 기본 구조와 설계 원칙을 정리한다.
기업용 AI 에이전트는 개인용 챗봇과 무엇이 다른가
개인용 챗봇의 목적은 자연스러운 대화다. 기업용 AI 에이전트는 목적이 훨씬 구체적이다.
- 사내 데이터 기반의 정확한 답변
- 업무 맥락을 이해한 결과
- 예측 가능한 응답 품질
- 운영 가능한 비용과 속도
이런 요구 때문에 기업용 AI 에이전트는 LLM 단독 구조로는 거의 항상 한계에 부딪힌다.
기업용 AI 에이전트의 기본 아키텍처
기업용 AI 에이전트는 보통 다음 계층으로 구성된다.
- 사용자 입력
- 질문 의도 분석 / 분기
- RAG 또는 일반 생성 경로
- LLM 생성
- 응답 제어 및 출력
핵심은 LLM을 어디에, 언제, 어떻게 쓸지 의도적으로 설계하는 것이다.
RAG는 기본 전제다
기업 환경에서 LLM이 단독으로 답변을 생성하면 다음 문제가 발생한다.
- 사내 문서를 모른다.
- 근거 없는 답변(hallucination)이 나온다.
- 답변 품질을 통제하기 어렵다.
그래서 대부분의 기업용 AI 에이전트는 RAG(Retrieval-Augmented Generation) 구조를 기본 전제로 삼는다.
RAG의 기본 흐름
- 사내 문서로 문서 집합 구성
- 문서를 청크 단위로 분할
- 임베딩을 생성해 벡터 DB에 저장
- 사용자 질문을 임베딩으로 변환
- 유사도가 높은 상위 문서 검색(Top-k)
- 검색된 문서를 LLM 입력에 포함
모든 질문에 RAG를 쓰면 안 되는 이유
초기 프로젝트에서 흔한 실수는 모든 질문을 무조건 RAG로 처리하는 것이다. 이 방식은 금방 한계에 부딪힌다.
- 응답 속도가 느려진다.
- 비용이 급격히 증가한다.
- 간단한 질문에도 불필요한 검색이 실행된다.
그래서 실제 운영 환경에서는 질문 유형에 따라 처리 경로를 분리한다.
질문 경로 분리 예시
문서 근거가 필요한 질문은 RAG 경로로 보낸다. 예를 들어 “사내 규정 기준 알려줘”, “이전 프로젝트 문서 내용 설명해줘” 같은 질문이다.
생성 중심 질문은 일반 생성 경로가 더 적합하다. “이 문단 요약해줘”, “보고서 형식으로 다시 써줘” 같은 요청이 여기에 해당한다.
이 분기 구조만으로도 응답 시간과 비용이 크게 줄어든다.
프롬프트는 제어 로직이다
기업용 AI 에이전트에서 프롬프트는 LLM의 행동을 제어하는 로직 계층에 가깝다.
시스템 프롬프트에는 보통 다음 요소를 포함한다.
- 역할(Role) 명시
- JSON 같은 출력 형식 제한
- 근거 없는 추측 금지
- 제공된 문서에 근거한 답변 강제(grounding)
이런 프롬프트 설계가 없으면 같은 모델이라도 응답 품질이 크게 흔들린다.
AI 에이전트는 답변기에 그치지 않는다
기업용 AI 에이전트는 문제를 해결하기 위해 여러 단계를 수행한다.
일반적인 에이전트 흐름은 다음과 같다.
- 사용자 의도 분석
- 정보 필요성 판단
- 문서 검색 또는 외부 도구 호출
- 결과 종합
- 최종 응답 생성
LangChain이나 Semantic Kernel 같은 프레임워크는 이 흐름을 구현하는 도구다. 설계의 핵심은 어떤 단계가 필요한지 정하는 일이다.
운영 환경에서 반드시 고려해야 할 두 가지
개발 단계에서는 잘 보이지 않지만, 운영 단계에서는 모든 의사결정이 응답 속도와 비용으로 수렴한다.
그래서 다음 전략이 필요하다.
- 질문 경로 분리로 불필요한 RAG 제거
- Top-k와 컨텍스트 길이 제한
- 요청 난이도에 따른 모델 분리
- 임베딩과 검색 결과 캐싱
특히 캐싱은 기본 설계에 포함한다.
기업용 AI 에이전트 아키텍처의 핵심은 통제 가능성
기업용 AI 에이전트 아키텍처는 다음 질문에 답할 수 있어야 한다.
- 이 답변은 왜 이렇게 나왔는가?
- 언제 비용이 늘어나는가?
- 잘못된 답변을 어떻게 막는가?
- 운영 환경에서 예측 가능한가?
이 질문에 답할 수 있는 구조를 갖춰야 AI 에이전트를 실제 업무에 쓸 수 있다.
마치며
기업용 AI 에이전트 구축은 LLM 활용보다 LLM을 통제하는 구조 설계에 가깝다.
아키텍처, 데이터, 프롬프트, 운영 전략을 함께 설계해야 AI 에이전트를 실제 업무 시스템으로 운영할 수 있다.