AI Agent

기업용 AI 에이전트(AI Agent)는 어떻게 설계해야 할까

RAG 기반 아키텍처와 운영 관점의 구현 기준

AI Agent Architecture Production view
01
Intent Router질문 유형을 분류해 RAG, LLM, 도구 경로를 선택합니다.
02
RAG Pipeline문서 집합, 청킹, 임베딩, 재정렬로 근거를 확보합니다.
03
Prompt Control역할, 출력 형식, 근거 기반 답변 규칙으로 응답을 제어합니다.
04
Ops Layer응답 시간, 비용, 캐시, 인덱스 버전을 운영 기준으로 관리합니다.
이 글의 핵심
  • 기업용 AI 에이전트는 LLM 단독 호출로는 부족하고, RAG, 질문 경로 분리, 프롬프트 제어, 캐싱을 함께 설계해야 한다.
  • 문서 근거가 필요한 질문과 일반 생성 요청을 분리해야 응답 시간과 비용을 줄일 수 있다.
  • 운영 가능한 에이전트의 핵심은 모델 선택보다 통제 가능한 시스템 구조다.

LLM이 보편화되면서 많은 조직이 사내 챗봇이나 AI 에이전트 구축을 추진한다. 하지만 프로젝트를 시작하면 GPT API 호출만으로는 기업 환경이 요구하는 신뢰성과 안정성을 확보하기 어렵다는 점이 곧 드러난다.

이 글은 특정 회사나 도메인에 한정하지 않고, 기업용 AI 에이전트를 실제 운영 수준으로 설계할 때 검토할 아키텍처와 개발 전략을 정리한다.

왜 LLM 단독 구조로는 부족할까?

LLM은 범용 성능이 뛰어나지만, 기업 환경에서는 몇 가지 치명적인 한계가 있다.

  • 사내 문서나 내부 데이터를 모른다.
  • 근거 없는 답변(hallucination)이 나올 수 있다.
  • 응답 품질을 제어하기 어렵다.
  • 호출 비용과 응답 시간을 무시할 수 없다.

그래서 대부분의 기업용 AI 에이전트는 RAG(Retrieval-Augmented Generation) 구조를 기반으로 설계한다.

RAG는 검색 기능보다 설계가 중요하다

RAG는 문서를 검색해 LLM에 전달하는 데서 끝나지 않는다. 데이터 처리부터 검색 전략까지 설계할 항목이 많다.

1. 문서 집합 구성: AI가 참고할 지식의 범위

RAG의 출발점은 AI 에이전트가 참고할 전체 문서 집합(corpus)이다. 보통 매뉴얼, 기술 문서, 보고서, 정책 문서가 여기에 포함된다.

문서 집합의 품질이 곧 AI 에이전트의 품질이다. 정리되지 않은 문서를 그대로 반영하면 답변도 정리되지 않는다.

2. 청킹: 문서를 그대로 쓰지 않는 이유

문서는 그대로 검색하지 않는다. 의미 단위로 나누는 청킹(chunking) 과정을 거친다.

  • 청크가 너무 크면 검색 정확도가 떨어진다.
  • 청크가 너무 작으면 문맥이 끊긴다.

그래서 청크 크기와 겹침(overlap)을 여러 번 실험하며 조정한다. 이 단계는 자동화보다 튜닝 대상에 가깝다.

3. 임베딩과 벡터 DB

청크로 나눈 문서는 임베딩 모델이 벡터로 변환하고, 이 벡터를 FAISS나 Pinecone 같은 벡터 DB에 저장한다.

임베딩 모델을 변경하면 전체 문서 집합을 다시 임베딩해야 한다. 그래서 임베딩 모델은 초기에 신중하게 선택한다.

모든 질문에 RAG를 쓰지 않는다

초기 프로젝트에서 자주 보이는 실수는 모든 질문을 RAG로 처리하는 것이다. 그러면 응답이 느려지고 비용이 늘며, 품질이 오히려 떨어질 수 있다.

그래서 실제 운영 환경에서는 질문 유형에 따라 경로를 분리한다.

질문 경로 분리 예시

문서 근거가 필요한 질문은 RAG 경로로 보낸다. 예를 들어 “사내 규정 기준 알려줘”, “이전 보고서 내용 설명해줘” 같은 질문이다.

반대로 생성 중심 질문은 LLM 단독 경로가 더 적합하다. “이 문단 요약해줘”, “보고서 형식으로 다시 써줘” 같은 요청이 여기에 해당한다.

이 분기만 잘 설계해도 응답 시간과 비용이 눈에 띄게 줄어든다.

프롬프트는 화면 문구보다 로직에 가깝다

기업용 AI 에이전트에서 프롬프트는 LLM을 제어하는 백엔드 로직에 가깝다.

보통 시스템 프롬프트에서 다음을 명확히 정한다.

  • 역할 정의
  • 출력 형식 제한
  • 근거 없는 추측 금지
  • 근거 기반 답변 강제(grounding)

또한 temperature와 top-p를 낮게 설정해 창의성보다 일관성과 안정성을 우선한다. 기업용 AI는 매번 새로운 답변보다 같은 조건에서 예측 가능하게 동작해야 한다.

AI 에이전트는 답변만 생성하지 않는다

AI 에이전트는 문제를 해결하기 위해 여러 단계를 수행한다. 텍스트 생성은 그중 한 단계다.

일반적인 흐름은 다음과 같다.

  1. 사용자 의도 분석
  2. 정보 필요성 판단
  3. RAG 또는 도구 호출
  4. 결과 종합 및 응답 생성

LangChain이나 Semantic Kernel은 이 흐름을 오케스트레이션하는 도구이고, 핵심은 설계 자체다. 도구를 선택하기 전에 어떤 판단 흐름이 필요한지부터 정의한다.

운영 환경에서 가장 중요한 것: 속도와 비용

개발 단계에서는 잘 드러나지 않지만, 운영 단계에서는 응답 시간과 비용이 모든 의사결정을 좌우한다.

이를 위해 몇 가지 전략을 사용한다.

1. 불필요한 RAG 제거

질문 경로를 분리해 근거 문서가 필요하지 않은 요청은 RAG 파이프라인을 거치지 않도록 한다.

2. Top-k와 컨텍스트 길이 제한

검색 결과를 많이 전달한다고 품질이 항상 좋아지지는 않는다. 필요한 문서만 LLM에 전달해야 응답 품질과 비용을 동시에 관리할 수 있다.

3. 모델 분리 전략

간단한 요청에도 고급 모델을 쓰면 운영 비용이 빠르게 늘어난다. 분류, 요약, 최종 답변 생성처럼 작업 성격에 따라 모델을 분리하는 전략이 필요하다.

캐싱은 기본 설계에 포함한다

RAG 구조에서 비용과 지연이 큰 구간은 명확하다. 임베딩 생성과 벡터 DB 검색이다.

그래서 캐싱도 보통 2단계로 설계한다.

1. 임베딩 캐싱

같은 질문이 들어오면 저장해 둔 임베딩을 재사용해 임베딩 API 호출 횟수를 줄인다.

2. 검색 결과 캐싱

같은 임베딩이나 유사한 질의의 검색 결과를 재사용하면 벡터 DB 부하와 응답 시간을 줄일 수 있다.

여기에 문서 집합 변경 시점을 관리하는 인덱스 버전 관리를 적용하면 운영 안정성도 확보할 수 있다.

기업용 AI 에이전트 구축의 성패는 LLM 활용 능력보다 시스템 설계에 달려 있다.

LLM 단독, RAG, AI 에이전트는 어떻게 다른가

업무 목적에 따른 구현 방식 비교
방식적합한 업무장점주요 한계
LLM 단독요약, 문장 작성, 아이디어 생성구조가 단순하고 빠르게 시작 가능사내 근거와 최신 업무상태를 알기 어렵다
RAG규정, 매뉴얼, 상담·정비 이력 검색답변 근거와 출처를 함께 제시할 수 있다검색 품질과 문서 권한 설계가 필요하다
AI 에이전트조회, 판단 보조, 도구 실행, 승인 연계여러 단계의 업무 흐름을 연결할 수 있다실패 복구, 권한, 로그와 사람 승인이 필요하다

KMWORKS Reference Demo로 확인한 운영 흐름

2026-07-12 공개 데모 스모크 테스트

대표 질문을 각 데모에 한 번씩 요청하고 모델 응답, 근거 문서 반환과 승인 경계 표현을 확인했다. 아래 값은 네트워크와 모델 상태에 따라 달라지는 1회 관측값이며 성능 벤치마크가 아니다.

데모대표 검증 질문응답시간반환 근거
00 상담해결비밀번호 분실·로그인 불가8,655msFAQ·매뉴얼·유사사례 3건
01 제조 품질A100 팬 소음 클레임 원인9,065ms티켓 테이블 5건
03 산업안전작업허가 STOP 근거13,154ms작업허가·시정조치 2건
15 부품견적EQ-001 호환 씰키트15,008ms호환·견적·장비·이력 등 6건

검증 환경: 공개 Reference Demo, 샘플 데이터, 응답에 표시된 실행 환경 기준 OpenAI gpt-5-nano. 실제 프로젝트에서는 데이터량, 모델, 검색 방식, 네트워크에 따라 결과가 달라진다.

관련 에이전트 데모

Reference Demo 00상담해결 AI Agent

의도 분류, 지식 검색과 응대 초안 흐름을 확인합니다.

데모 실행 ↗
Reference Demo 03산업안전·작업허가 Agent

위험 판단과 사람의 최종 승인 경계를 확인합니다.

데모 실행 ↗
Reference Demo 15산업장비 부품견적 Agent

장비·호환표·견적·서비스 이력의 결합 검색을 확인합니다.

데모 실행 ↗
Demo Hub산업별 16개 전체 데모

제조, 설비, 안전, 에너지, 서비스, 물류 분야의 에이전트를 한곳에서 확인합니다.

전체 데모 보기
공식 참고 자료
콘텐츠 검증 정보

작성·검증: KMWORKS AI Tech Lab. 검증 범위는 공개 데모의 질문 처리, 근거 문서 표시, 승인 경계와 응답 로그이며 샘플 데이터 기반이다. 내부 책임자 이름과 경력 정보는 회사 확인 후 추가할 수 있도록 구조화 데이터와 본문 영역을 분리해 두었다.

정리하며

기업용 AI 에이전트는 다음 요소가 함께 맞물려야 실제 업무에 쓸 수 있는 수준이 된다.

  • RAG 구조
  • 질문 경로 분리
  • 프롬프트 제어
  • 캐싱과 최적화
  • 운영 관점의 의사결정

이 글이 도움이 될 분들

  • 기업용 AI/LLM 프로젝트를 준비하는 개발자
  • AI 에이전트 아키텍처를 검토하는 팀 리드
  • 챗봇을 업무 시스템으로 확장하려는 조직