30초 답변
기업용 LLM 비용은 입력·출력 token 단가만으로 판단하면 안 된다. 실제 완료된 업무 1건을 단위로 모델, embedding, 검색, Tool, 인프라, cache, 재시도, 사람 검토 비용을 합산해야 자동화가 경제적인지 알 수 있다.
업무 유형마다 품질 하한과 비용 상한을 정하고, 예산을 넘기기 전에 더 작은 모델, 검색 범위 축소, 추가 승인, 사람 이관, 안전한 중단 중 하나를 선택하게 만든다. 비용 최적화는 싸게 답하는 일이 아니라 요구 품질을 만족하는 가장 단순한 경로를 찾는 일이다.
이 글의 핵심
- 비용 단위는 token이 아니라 성공한 업무 1건이다.
- 모델 호출 외에 검색, Tool, 인프라, 실패, 사람 검토를 포함한다.
- 비용 상한은 품질·안전 하한과 함께 설계해야 한다.
token 단가만 보면 왜 틀릴까
같은 모델을 써도 업무에 따라 실제 비용은 크게 달라진다.
- 질문 한 번으로 끝나는가
- 여러 번 검색하고 reranking하는가
- Tool을 몇 개 호출하는가
- 실패 후 전체를 다시 실행하는가
- 결과를 사람이 얼마나 수정하는가
- 긴 문서를 매번 다시 넣는가
- 출력이 실제 업무 완료로 이어지는가
싼 모델이 Tool 선택을 자주 틀려 재시도가 늘면 최종 업무 비용은 더 높을 수 있다. 반대로 비싼 모델도 한 번에 정확히 끝내고 사람 검토를 줄이면 경제적일 수 있다. 이 비교는 실제 평가와 운영 데이터로만 할 수 있다.
업무 1건당 비용 식
다음 항목을 release와 업무 유형별로 모은다.
업무 1건 비용 =
모델 입력·출력
+ embedding·retrieval·reranking
+ Tool과 외부 API
+ orchestration·queue·storage·observability
+ 실패·retry·fallback
+ 사람 승인·검토·수정
+ 보안·운영 공통비의 배분여기서 분모는 요청 수가 아니라 성공적으로 완료된 업무 수로 본다.
완료 업무당 비용 = 전체 관련 비용 / 완료된 업무 수요청이 싸더라도 완료율이 낮으면 분모가 줄어 비용이 올라간다.
업무를 분리해야 하는 이유
“AI 전체 평균 비용”은 의사결정에 도움이 적다. 최소한 다음처럼 나눈다.
- 사내 규정 Q&A
- 회의록 요약
- 보고서 초안
- 주문 상태 조회
- 환불 요청 처리
- 대량 문서 분류
각 업무는 가치, 위험, 허용 지연, 사람 검토가 다르다. 조회와 환불 실행을 같은 비용 목표로 관리하면 안전을 희생할 수 있다.
품질 하한과 비용 상한
비용만 줄이면 모델·문맥·검색 결과를 무작정 줄이게 된다. 먼저 업무별 품질 하한을 정한다.
예:
- 권한 누출 0건을 목표로 하는 보안 게이트
- 필수 필드 schema validation
- 승인 없는 쓰기 Tool 실행 금지
- 평가셋 task success 기준
- 답이 없을 때 무응답 또는 이관
그 다음 비용 상한을 둔다.
- 요청당 모델 호출 수
- 총 token 또는 context
- Tool 재시도
- 전체 실행 시간
- 외부 API 비용
- 사람 검토 시간
상한 초과 시 무조건 싼 모델로 바꾸지 않는다. 다음 정책 중 업무 위험에 맞는 것을 선택한다.
- 불필요한 추가 검색을 중단
- 중간 결과를 보여주고 범위를 물음
- 사람 승인 후 계속
- 더 단순한 결과 형식으로 축소
- 담당자에게 이관
- 안전하게 실패
가장 큰 절감은 복잡성을 없애는 것
Anthropic의 Building Effective Agents는 가능한 가장 단순한 해결부터 시작하고 복잡성은 필요한 경우에만 늘리라고 권한다. Agent는 유연성을 주지만 지연과 비용을 늘릴 수 있다.
OpenAI의 Agent 구축 가이드도 규칙 기반으로 유지하기 어려운 판단, 비정형 데이터, 복잡한 예외가 있는 경우를 Agent 후보로 보고, 단순한 결정적 해결로 충분한지 먼저 확인하도록 안내한다.
비용 최적화 순서:
- AI가 필요 없는 단계 제거
- Agent보다 고정 workflow가 나은 업무 분리
- 모든 질문에 RAG를 쓰지 않음
- 간단한 분류와 복잡한 생성을 다른 모델로 분리
- 중복 context와 출력 제거
- cache와 batch
- 실패를 줄이는 평가와 schema
- provider·모델 단가 비교
단가 비교는 마지막에 가깝다.
Cache의 비용을 숨기지 말자
cache hit는 모델 비용을 줄일 수 있지만 다음 비용이 있다.
- cache 저장·조회
- 권한별 분리
- index·정책 변경 시 무효화
- 잘못된 결과의 반복 노출
- cache hit/miss 관측
오래된 답변이 다시 사용되어 사람이 수정한다면 token은 줄었지만 업무 비용은 늘 수 있다. cache key에 사용자 권한, 데이터 버전, prompt 버전을 포함할지 결정한다.
사람 검토도 비용이자 안전 장치다
사람 검토를 무조건 제거하는 것이 목표가 아니다. 고위험 업무에서 승인과 검토는 손실을 막는 통제다.
측정할 것:
- 검토 대상 비율
- 검토 시간
- 수정 비율
- 반려 이유
- 자동 승인으로 전환할 수 있는 저위험 구간
- 사람이 잡아낸 손실 가능성
AI 비용과 사람 비용을 함께 보되, 안전 통제를 비용 낭비로 취급하지 않는다.
예산 대시보드
업무 유형, 팀, release ID별로 다음을 본다.
- 요청 수
- 완료 수와 완료율
- 완료 업무당 비용
- p95 비용
- 모델·검색·Tool·사람 비용 구성
- retry와 fallback 비용
- cache hit와 오래된 결과 신고
- 비용 초과 중단·승인·이관
- 이전 수동 업무와의 시간·품질 비교
ROI를 계산할 때 확인되지 않은 생산성 수치를 만들지 않는다. 실제 시간 연구와 업무 결과를 사용한다.
실무 체크리스트
- 비용 단위가 업무 완료와 연결된다.
- 업무 유형별로 비용을 분리한다.
- 모델 외 검색·Tool·인프라·사람 비용이 포함된다.
- 품질·안전 하한이 비용 상한보다 먼저 정의된다.
- 호출·retry·context·시간 budget이 있다.
- budget 초과 시 축소·승인·이관·중단 정책이 있다.
- release ID별 비용 회귀를 평가한다.
- cache의 권한·최신성·무효화 비용을 반영한다.
- ROI 주장은 실제 측정과 범위를 갖는다.
자주 묻는 질문
token 비용은 보지 않아도 되나?
반드시 본다. 다만 원인 지표이지 최종 사업 지표는 아니다. token을 줄였을 때 완료율·품질·사람 수정이 어떻게 변했는지 함께 본다.
업무당 비용 목표는 어떻게 정하나?
현재 수동 처리의 시간·오류·기회비용, 업무 가치, 위험, 예상 사용량을 기준으로 정한다. 초기에는 범위를 두고 실제 운영 데이터를 통해 조정한다.
가장 싼 모델로 시작하는 것이 좋은가?
평가셋의 품질 하한을 통과하는 가장 단순한 조합에서 시작하는 것이 좋다. 단가가 싸도 retry와 실패가 많으면 완료 업무당 비용이 높아질 수 있다.