[Tech Notes]

응답 시간·비용·캐싱의 기본 관계

운영 지속성을 위한 기본 최적화 구조

LLM 시스템에서 응답 시간과 비용은 함께 움직인다.

  • 토큰이 많아지면 비용과 지연이 함께 증가한다.
  • 불필요한 RAG 호출은 시스템 전체를 느리게 만든다.

그래서 운영 환경에서는 임베딩 결과와 검색 결과를 캐싱해 중복 계산을 줄인다.

캐싱은 성능 최적화 옵션으로 미루지 않고 처음부터 기본 설계에 포함한다.