- 모든 질문에 RAG를 적용하면 임베딩, 검색, 컨텍스트 구성 비용이 매번 발생한다.
- 문서 근거가 필요한 질문은 RAG 경로로, 요약·재작성 요청은 LLM 단독 경로로 처리한다.
- 의도 분류를 완벽하게 만들기보다 불필요한 RAG 호출부터 줄인다.
RAG(Retrieval-Augmented Generation)는 기업용 AI 에이전트의 기본 구조로 자주 언급된다. 그런데 운영 환경에 들어가면 가장 먼저 응답 속도와 비용 문제가 드러난다.
응답은 왜 느리고 비용은 왜 예상보다 많이 나오는지가 운영 초기의 대표적인 질문이다.
원인은 종종 RAG 자체보다 RAG를 적용하는 방식에 있다.
RAG는 강력하지만, 비싸고 느리다
RAG는 다음 과정을 포함한다.
- 임베딩 생성
- 벡터 DB 검색
- 검색 결과로 컨텍스트 구성
- LLM 호출
모든 질문에 RAG를 적용하면 모든 질문이 가장 무거운 경로를 거친다. 데모 단계에서는 문제가 없어도 운영 단계에서는 곧 한계가 드러난다.
질문은 모두 같지 않다
실제 사용자 질문을 살펴보면 크게 두 가지로 나뉜다.
문서 근거가 반드시 필요한 질문
- “사내 규정 기준 알려줘”
- “이전 프로젝트 문서 내용 설명해줘”
이런 질문은 RAG가 필요한 질문이다.
이미 정보가 주어진 질문
- “이 문단 요약해줘”
- “보고서 형식으로 다시 써줘”
이런 질문은 문서를 검색할 필요가 없다.
그런데도 모든 질문을 RAG로 처리하면 불필요한 검색이 발생한다. 응답은 느려지고 비용은 계속 쌓인다.
그래서 필요한 것이 경로 분리다
운영 환경에서는 보통 사용자 질문을 먼저 분류한 뒤, 문서 근거가 필요하면 RAG 경로로 보내고 생성이나 요약 중심 요청이면 LLM 단독 경로로 보낸다.
이 분기 하나만으로도 응답 시간, 비용, 시스템 부하가 눈에 띄게 개선된다.
질문 분류는 어떻게 구현할까
처음부터 복잡할 필요는 없다.
- 1단계: 키워드 기반 규칙
- 2단계: LLM 기반 의도(intent) 분류
- 필요 시: 간단한 분류 모델
목표는 분류 정확도를 끝까지 끌어올리는 것보다 불필요한 RAG 호출을 최대한 줄이는 데 있다.
정리하며
RAG는 기업용 AI 에이전트의 핵심 구성 요소지만, 모든 질문에 맞는 만능 해법은 아니다.
운영 환경에서는 정확도와 함께 속도와 비용의 균형을 봐야 한다. 경로 분리는 이 균형을 맞추는 데 가장 먼저 적용할 수 있는 방법이다.