AI 상담봇을 열기 전에, 답하지 못한 문의의 담당자부터 정하세요
상담원 이관, 답변 근거 갱신, 실행 권한과 운영 지표를 중심으로 AI 상담봇 공개 전에 정할 업무 흐름을 설명합니다.
운영 & 최적화AI Tech Lab은 기업용 AI 에이전트, LLM/RAG, 아키텍처, 운영 최적화, 실험 기록을 정리하는 기술 블로그입니다. 홍보보다 설계 이유와 트레이드오프를 기록하는 데 중점을 둡니다.
AI 에이전트 설계부터 RAG 검색 품질, 운영 최적화, 짧은 기술 메모까지 주제별로 정리했습니다.
기업용 AI 에이전트 설계, Tool Calling, 오케스트레이션, 다단계 추론을 다룹니다.
카테고리 보기 LLM / RAGRAG 아키텍처, 문서 집합 구성, 청킹, 임베딩, 검색 품질 전략을 정리합니다.
카테고리 보기 Architecture전체 시스템 구조, API, 캐싱, 성능 설계와 운영 가능한 구성 방식을 다룹니다.
카테고리 보기 운영 & 최적화응답 시간, 비용, 모니터링, 캐시, 인덱스 버전 관리처럼 운영 단계에서 드러나는 문제를 다룹니다.
카테고리 보기 Tech Notes개념 정리, 짧은 실험 기록, 의사결정 메모를 모았습니다.
카테고리 보기각 글은 설계 이유와 운영 트레이드오프를 함께 설명합니다.
상담원 이관, 답변 근거 갱신, 실행 권한과 운영 지표를 중심으로 AI 상담봇 공개 전에 정할 업무 흐름을 설명합니다.
운영 & 최적화검색을 시작하기 전에 문서 소유자, 최신성, 중복, 구조를 정리합니다. 권한과 삭제·갱신 기준까지 정해 두어야 검색 품질과 정보보호를 함께 관리할 수 있습니다.
PoC 결과를 실제 업무 완료 여부, 근거, 무응답 처리, 권한으로 나눠 봅니다. 안전한 도구 실행, 지연·비용, 운영 가능성까지 항목별로 검수하는 방법을 설명합니다.
일반 장애 대응 절차에 AI 특유의 모델·프롬프트·검색 인덱스·도구·데이터 경계를 추가합니다. 먼저 사용자와 외부 시스템에 미치는 영향을 차단하고 배포 버전 ID와 트레이스를 보존합니다. 모델뿐 아니라 프롬프트·정책·도구·인덱스도 각각 롤백하고, 복구 후에는 재현 사례를 평가셋과 모니터링 규칙에 반영합니다.
원본 변경을 생성·수정·삭제·권한 변경 이벤트로 기록하고, 결정적 문서 ID와 버전으로 모든 파생 청크를 멱등하게 갱신합니다. 스키마·파서·임베딩을 변경할 때는 새 인덱스를 나란히 구축해 검증한 뒤 별칭(alias)으로 전환합니다. 롤백 전에는 삭제·권한 회수 이벤트를 반드시 다시 적용해 오래된 보안 상태가 되살아나지 않게 합니다.
모델 토큰 단가만 비교하지 않고 실제로 완료된 업무 1건을 비용 단위로 삼습니다. 모델·임베딩·검색·도구·인프라·재시도·사람 검토 비용을 합산하고, 업무 유형별로 품질 하한과 예산 상한을 정합니다. 상한을 넘으면 축소·승인·이관·중단 정책을 적용합니다.
AI 데이터 거버넌스는 사용 사례별로 데이터 등급과 허용 목적을 정하는 데서 시작합니다. 원천 데이터에서 프롬프트·임베딩·모델 공급자·도구·로그·백업·삭제까지 데이터 흐름을 목록으로 정리합니다. 처리 지점마다 최소 수집, 보존 기한, 마스킹, 지역·업체 정책을 적용합니다. 공급자 약관과 기능별 보존 차이는 증거로 관리하고, 사용자가 조회·수정·삭제 결과를 확인할 수 있게 합니다.
기본값은 단일 에이전트입니다. 서로 독립적으로 병렬 처리할 수 있는 고가치 하위 작업이 있거나 도구·컨텍스트를 격리해야 할 때만, 평가 결과를 근거로 멀티에이전트로 전환합니다.
Function Calling은 모델이 스키마에 맞는 도구 호출을 제안하는 모델 API 기능입니다. MCP는 AI 애플리케이션과 외부 시스템 사이에서 Tool·Resource·Prompt를 발견하고 연결하는 표준 프로토콜입니다. 두 기능은 MCP Host가 서버의 Tool 스키마를 읽어 모델의 Function Calling 형식으로 전달하는 방식으로 함께 쓰입니다.
응답 시간을 요청 접수, 첫 진행 표시, 첫 유용한 결과, 최종 완료로 나눠 보고 업무 유형별 p95 SLO를 둡니다. 스트리밍은 체감 대기 시간을 줄이지만 실제 작업 속도를 높이지는 않습니다. 그래서 진행 상태·취소·부분 결과·비동기 완료와 함께 설계해야 합니다.
장시간 실행 에이전트는 영속 상태 머신으로 모델링합니다. 외부 부작용마다 안정적인 멱등성 키를 부여하고, 완료된 단계의 결과와 체크포인트를 저장합니다. 재시도는 일시 오류에만 제한적으로 적용하고 취소는 협력적으로 전파합니다. 되돌릴 수 없는 단계 전에는 승인을 받고, 부분 완료는 도메인별 보상과 수동 복구 경로로 처리합니다.
대화 이력, 실행 중인 업무 상태, 사용자 장기 기억, 원본 업무 데이터를 저장소와 수명 주기별로 분리합니다. 장기 기억에는 출처·동의·만료·수정 가능성을 갖춘 검증된 사실만 저장합니다.
최신 사내 지식으로 답하게 하려면 RAG를, 출력 형식·역할·제약을 조정하려면 프롬프트와 Structured Output을 검토합니다. 반복되는 행동 패턴을 안정적으로 학습시켜야 할 때는 충분한 평가 데이터를 갖추고 Fine-tuning을 검토합니다. 세 방법은 해결하는 문제가 서로 다릅니다.
대표 업무와 실패 사례를 포함한 고정 평가셋으로 기준선과 후보 버전을 비교합니다. 검색, 답변, 도구 선택, 안전성, 비용, 지연은 나눠서 봅니다. 자동 평가만으로 승인하지 않고 고위험 사례는 사람이 검토하며, 카나리 배포와 롤백 기준은 배포 전에 정합니다.
Structured Output은 필드·타입·필수값 같은 구조를 안정화하지만 추출값의 사실성, 업무 규칙, 권한, 최신성까지 보장하지는 않습니다. 그래서 공급자 종료 상태를 먼저 처리하고, JSON Schema 검증 뒤에 도메인 불변식·근거 대조·권한 검사를 거칩니다. 스키마 버전과 실패 상태를 명시하고, 형식 테스트와 의미 평가는 나눠서 운영합니다.
PDF를 텍스트로만 평탄화하지 않고 페이지·섹션·표·그림 단위로 분석합니다. 원문 텍스트, 구조화 데이터, 설명 텍스트, 페이지 좌표는 서로 연결해 저장합니다. 검색할 때는 질문 유형에 맞는 표현을 함께 찾고, 답변에는 페이지와 원문 영역을 인용해 사용자가 바로 검증할 수 있게 합니다.
Prompt Engineering은 모델에 주는 지시문의 표현과 구조를 설계하는 일입니다. Context Engineering은 지시문과 함께 도구 정의, 검색 문서, 대화 이력, 메모리, 중간 결과 가운데 이번 추론에 어떤 정보를 포함하고 제외할지 관리하는 일입니다.
승인 여부는 모델의 확신도보다 행동의 영향으로 정합니다. 외부 전송·삭제·결제·권한 변경처럼 되돌리기 어렵거나 책임이 큰 지점에서는 실행 직전에 구체적인 변경 내용을 보여 주고 승인을 받습니다.
LLM 기반 시스템에서 토큰이 비용과 응답 속도를 어떻게 결정하는지, RAG 운영에서 토큰 관리가 왜 중요한지 정리합니다.
AI Gateway는 정책 집행 지점으로 설계합니다. 요청의 업무 유형·데이터 등급·필요 기능을 판별해 허용된 모델 후보 안에서 라우팅합니다. 전체 응답 기한(deadline) 안에서만 제한적으로 재시도·폴백하고, 공급자·모델·리전별 서킷 브레이커와 출력 검증을 적용합니다.
원본 저장소의 ACL(접근 권한 목록)을 콘텐츠와 같은 수명 주기로 수집해 모든 문서·청크에 상속합니다. 인증된 사용자의 principal과 검색 필터는 서버에서 결합합니다. ACL 누락, 해석 실패, 권한 조회 실패가 생기면 결과를 비우는 기본 거부 정책을 적용하고, 캐시·로그·인용에도 같은 권한 경계를 지킵니다.
JSON mode는 문법적으로 유효한 JSON 출력을 목표로 하지만 필요한 필드·타입·enum까지 보장하지는 않습니다. Structured Output은 지원되는 모델·API에서 strict: true를 사용하고, refusal이 없고 응답이 중간에 끊기지 않았을 때 제공한 JSON Schema 일치를 보장합니다. 값의 사실성·업무 규칙·권한은 서버에서 별도로 검증해야 합니다.
컨텍스트 윈도의 개념과, RAG 설계에서 문서를 많이 포함하기보다 필요한 정보를 선별해야 하는 이유를 정리합니다.
BM25와 벡터 검색을 병렬로 실행한 뒤 순위 기반 RRF로 합치고, 필요할 때만 상위 후보를 재정렬합니다. 평가셋에는 제품 코드·약어·조항 번호와 자연어로 바꿔 말한 질문을 모두 포함하고, 검색과 최종 답변을 나눠 측정합니다.
사용자 요청 한 건을 분류, 검색, 모델 호출, 도구 실행, 승인, 최종 응답까지 하나의 트레이스로 연결합니다. 단계마다 입력 버전·지연·비용·결과·오류를 기록합니다. 원문 프롬프트와 도구 결과에는 민감정보가 포함될 수 있으므로 기본값은 식별자와 요약 중심으로 두고, 원문 수집은 별도 승인과 보존 정책 아래에서만 허용합니다.
RAG 시스템의 기본 흐름인 문서 집합, 청킹, 임베딩의 관계와, 검색 품질 문제가 앞단 설계에서 생기는 이유를 정리합니다.
MCP는 AI 애플리케이션과 외부 도구·리소스·프롬프트 서버 사이의 연결을 표준화하지만 기존 API·인증·정책을 대체하지는 않습니다. 그래서 기존 업무 API 위에 최소 권한 MCP 서버와 중앙 정책·승인·감사 계층을 두어야 합니다.
출처 배지는 답변 끝에 문서 목록으로 모아 두기보다 주장 가까이에 연결하고, 문서 제목·발행일·해당 구절·권한·최신성을 확인할 수 있게 합니다. 근거가 없거나 서로 충돌하면 확신형 답변 대신 무응답·범위 축소·사람 확인 경로를 제공합니다.
답변만 필요하면 챗봇, 경로가 고정되어 있으면 워크플로, 상황에 따라 다음 행동을 판단해야 하면 에이전트가 적합합니다. 기업 시스템에서는 세 방식을 섞어 쓰는 경우가 많습니다.
Vector DB는 문서의 의미 벡터를 저장하고, Top-k는 가까운 벡터를 몇 개 가져올지 정하는 값이라는 점을 정리합니다.
외부 문서와 도구 결과는 지시가 아닌 비신뢰 데이터로, 모델 출력은 실행 명령이 아닌 제안으로 다룹니다. 최소 권한, 도구 허용 목록(allowlist), 읽기·쓰기 분리, 고위험 작업 승인을 기본으로 둡니다. 여기에 구조화된 중간 표현, 서버 측 권한·출력 검증, 외부 전송 통제를 겹쳐 적용해야 간접 Prompt Injection의 피해 범위를 줄일 수 있습니다.
질문별 정답 문서 라벨(qrels)로 검색을 평가하고, 검색 결과를 고정한 상태에서 답변의 정확성·근거 충실도·완결성·인용을 따로 평가합니다. 평가셋은 실제 로그와 도메인 전문가 라벨을 중심으로 만들고 답변 가능·답변 불가·권한 없음·문서 충돌 사례를 포함합니다. 회귀 기준은 전체 평균 대신 질문 유형별로 운영합니다.
User Prompt와 System Prompt의 차이와, 기업용 AI에서 System Prompt가 품질 관리의 기준이 되는 이유를 정리합니다.
Temperature와 Top-p가 다음 단어 선택에 미치는 영향과, 기업 환경에서 두 값을 운영 정책으로 관리해야 하는 이유를 정리합니다.
AI 에이전트를 판단하고 행동하는 시스템으로 정의하고, 텍스트 생성 모델과 무엇이 다른지 기본 구성 흐름으로 정리합니다.
Tool Calling과 다단계 추론(Multi-step Reasoning)이 기업용 AI 에이전트 설계에서 어떻게 연결되는지 판단·실행·검증 흐름으로 정리합니다.
LLM 시스템에서 응답 시간과 비용이 토큰, RAG 호출, 캐싱과 어떻게 연결되는지 정리합니다.
기업용 AI 에이전트를 의도 분석부터 정보 판단, 행동 계획, 실행, 결과 종합까지 이어지는 문제 해결 시스템으로 설계하는 방법을 정리합니다.
기업용 AI 에이전트에서 Tool Calling으로 LLM을 답변하는 모델에서 실행하는 시스템으로 확장하는 설계 전략과, RAG와 도구의 역할 분리를 정리합니다.
기업용 AI 에이전트의 프롬프트를 시스템 프롬프트, 근거 기반 답변(grounding), 출력 스키마를 포함한 백엔드 제어 로직으로 설계해야 하는 이유를 정리합니다.
기업용 AI 에이전트에서 Temperature와 Top-p를 창의성 설정보다 일관성·재현성·예측 가능성을 위한 생성 파라미터 정책으로 다뤄야 하는 이유를 정리합니다.
기업용 AI 에이전트 운영에서 모든 질문을 RAG로 처리하면 응답 시간과 비용이 늘어납니다. 질문 유형에 따라 RAG 경로와 일반 생성 경로를 나눠야 하는 이유를 정리합니다.
운영 환경에서 LLM 시스템의 응답 시간과 비용을 줄이기 위해 Top-k, 컨텍스트 길이, 모델 분리, 캐싱을 어떻게 조정하는지 정리합니다.
RAG 검색 정확도를 좌우하는 청킹과 임베딩의 의미, 튜닝 기준, 실무 개선 순서를 정리합니다.
RAG 운영에서 Vector DB 선택보다 중요한 Top-k, 재정렬, 컨텍스트 길이, 응답 시간과 비용의 트레이드오프를 정리합니다.
챗봇만으로는 왜 부족한지, 기업 환경에서 실제로 동작하는 AI 에이전트 아키텍처를 어떻게 설계해야 하는지 정리합니다.
기업용 AI 에이전트를 실제로 운영할 수 있는 수준으로 설계하기 위한 RAG 기반 아키텍처, 질문 경로 분리, 프롬프트 제어, 캐싱과 비용 최적화 전략을 정리합니다.
기업용 AI 시스템을 실제 업무에 적용할 때 반복해서 확인해야 하는 설계 기준과 운영 관점을 정리합니다.
KMWORKS AI Tech Lab은 기업 환경에서 실제로 동작하는 AI 시스템 설계를 공유합니다.
AI 프로젝트 문의