- LLM 운영에서 응답 시간과 비용은 함께 움직이며, 대부분 토큰 수와 모델 선택에서 결정된다.
- 가장 먼저 조정하는 항목은 Top-k 축소, 컨텍스트 제한, 모델 분리다.
- 임베딩과 검색 결과 캐싱은 운영 안정성을 위한 기본 설계다.
LLM 기반 시스템의 개발 단계에서는 답변 품질을 높이는 데 관심이 쏠린다.
운영 단계에 들어가면 응답이 왜 느린지, 비용이 왜 예상보다 많이 나오는지가 먼저 문제가 된다.
이 글은 운영 환경에서 자주 조정하는 항목을 정리한다.
응답 시간과 비용은 함께 움직인다
LLM 시스템에서는 응답이 느리면 비용도 높고, 비용을 줄이면 응답 품질이 흔들리는 경우가 많다. 그래서 설계 대부분이 트레이드오프의 연속이다.
응답 속도를 늦추는 주요 원인
운영 환경에서 응답 시간을 늘리는 요소는 비교적 명확하다.
- 불필요한 RAG 호출
- 과도한 Top-k 검색
- 너무 긴 컨텍스트
- 항상 대형 모델 사용
이 중 하나만 있어도 응답 속도는 체감될 정도로 느려진다.
가장 먼저 조정하는 항목
1. Top-k 줄이기
초기에는 넉넉하게 검색하더라도, 운영 단계에서는 3~5 수준으로 축소하는 경우가 많다. 이렇게 하면 검색 시간과 컨텍스트 길이가 함께 줄어든다.
2. 컨텍스트 길이 제한
모든 문서를 전달하지 않고 핵심 청크만 전달한다. 컨텍스트가 줄면 토큰 수가 줄고, 토큰 수가 줄면 비용도 줄어든다.
3. 모델 분리 전략
단순 요약이나 정리는 소형 모델로 처리하고, 복잡한 추론은 대형 모델로 처리한다. 모든 요청에 비싼 모델을 사용하는 구조는 운영 단계에서 비용을 빠르게 키운다.
캐싱은 기본 설계에 포함한다
운영 환경에서는 동일하거나 유사한 질문이 반복된다. 그래서 보통 두 가지를 캐싱한다.
- 임베딩 결과
- 벡터 DB 검색 결과
캐시 구조만 잘 잡아도 응답 시간은 눈에 띄게 줄고 비용은 안정된다.
완벽한 답변보다 예측 가능한 시스템
운영 환경에서는 매번 최고의 답변을 내는 것보다 응답을 예측할 수 있는 것이 중요하다.
언제 느려지는지, 언제 비용이 늘어나는지, 어떤 질문이 위험한지를 알고 통제할 수 있어야 한다.
비용과 속도를 조정하는 주요 항목
| 항목 | 속도 영향 | 비용 영향 | 검증 방법 |
|---|---|---|---|
| 컨텍스트·Top-k 제한 | 입력 처리량 감소 | 입력 토큰 감소 | 정답 근거가 유지되는 최소값 측정 |
| 모델 라우팅 | 간단한 분류·요약 단축 가능 | 고비용 모델 호출 감소 | 업무별 품질 하한선과 실패율 비교 |
| 프롬프트 캐싱 | 반복되는 앞부분(prefix) 처리 단축 가능 | 지원 모델의 캐시 토큰 정책 적용 | usage의 cached_tokens와 응답 시간 기록 |
| 검색·응답 캐시 | 반복 질의의 검색·생성 생략 | API·검색 호출 감소 | 정확도, 만료, 인덱스 버전을 함께 기록 |
| 도구 병렬화 | 독립 조회의 총 대기시간 감소 | 호출 수가 같으면 비용은 유지될 수 있음 | 순차·병렬 트레이스에서 가장 오래 걸리는 구간 비교 |
Reference Demo 응답시간 스모크 테스트
| 데모 | 응답시간 | 근거 수 | 질문 성격 |
|---|---|---|---|
| 00 상담해결 | 8,655ms | 3 | FAQ·매뉴얼 검색 |
| 01 제조 품질 | 9,065ms | 5 | 다중 티켓 원인 후보 |
| 03 산업안전 | 13,154ms | 2 | 위험 근거와 승인 경계 |
| 15 부품견적 | 15,008ms | 6 | 호환·견적·이력 결합 |
복잡한 질문이 항상 느리다고 단정할 수는 없다. 다만 검색 대상, 근거 수, 생성 길이, 도구 호출 단계가 응답 시간에 함께 영향을 주므로 트레이스로 구간을 나눠 측정해야 한다.
각 데모당 1회 측정한 정상 동작 확인값이다. 네트워크·동시 요청·모델 상태를 통제한 성능시험이나 SLA 자료가 아니다.
관련 에이전트 데모
FAQ·매뉴얼·유사사례 검색과 응답 생성 흐름을 확인합니다.
데모 실행 ↗설비·에너지·민원 근거를 결합하는 운영 질문을 확인합니다.
데모 실행 ↗센서와 정비 이력 검색을 포함한 복합 응답 흐름을 확인합니다.
데모 실행 ↗업무 복잡도와 검색 근거가 다른 에이전트를 비교합니다.
전체 데모 보기- OpenAI API · Prompt caching — 캐시 토큰 확인과 반복 prefix 최적화
- OpenAI Agents SDK · Tracing — generation, Tool, handoff 구간별 추적
- Microsoft Learn · RAG and generative AI — 검색 품질과 속도의 트레이드오프
작성·검증: KMWORKS AI Tech Lab. 공개 Reference Demo 4종을 실제로 실행해 응답과 근거 수를 확인했다. 가격과 비용은 모델·공급사·시점에 따라 달라지므로 고정 수치를 싣지 않고 실제 사용량 로그를 기준으로 계산한다.
정리하며
응답 시간과 비용 문제는 대부분 설계에서 비롯된다. 이 균형을 설계 단계에서 잡아 두어야 운영 비용과 응답 시간을 예측할 수 있다.