생성형 AI 사고 대응 Runbook: 탐지·차단·복구·사후 분석
일반 장애 대응 절차 위에 AI 특유의 모델·프롬프트·검색 인덱스·Tool·데이터 경계를 추가해야 한다. 먼저 사용자와 외부 시스템에 미치는 영향을 차단하고 release ID와 trace를 보존한 뒤, 모델만이 아니라 prompt·policy·Tool·index를 독립적으로 rollback한다. 복구 후에는 재현 사례를 평가셋과 모니터링 규칙으로 전환한다.
운영 & 최적화
품질·지연·비용·사고 대응을 함께 운영합니다
관측성, 평가 기반 배포, 응답 지연 SLO, 작업당 비용과 AI 사고 대응 체계를 다룹니다.
9 ARTICLES
운영 & 최적화 글
발행일이 최신인 글부터 확인할 수 있습니다.
글 읽기
Token 비용이 아니라 업무 1건당 AI 예산을 관리하는 법
모델 token 단가만 비교하지 말고 실제 완료된 업무 1건을 비용 단위로 삼아 모델·embedding·검색·Tool·인프라·재시도·사람 검토 비용을 합산해야 한다. 업무 유형별 품질 하한과 예산 상한을 정하고 초과 시 축소, 승인, 이관, 중단 정책을 둔다.
LLM 응답 지연을 사용자 경험과 SLO로 관리하는 법
전체 응답 시간 하나가 아니라 요청 접수, 첫 진행 표시, 첫 유용한 결과, 최종 완료까지를 분리하고 업무 유형별 p95 SLO를 둬야 한다. Streaming은 체감 대기시간을 줄이지만 실제 작업을 빠르게 하지는 않으므로 진행 상태·취소·부분 결과·비동기 완료와 함께 설계해야 한다.
Eval-driven Release: 모델·프롬프트·인덱스 변경을 안전하게 배포하는 법
대표 업무와 실패 사례를 포함한 고정 평가셋을 만들고 retrieval, 답변, Tool 선택, 안전성, 비용, 지연을 분리해 기준선과 후보 버전을 비교해야 한다. 자동 평가만으로 승인하지 말고 고위험 사례는 사람이 검토하며, canary와 rollback 기준을 배포 전에 정한다.
AI Agent 관측성: Trace로 검색·모델·Tool 실패를 찾는 법
한 번의 사용자 요청을 분류, 검색, 모델 호출, Tool 실행, 승인, 최종 응답까지 하나의 trace로 연결하고 각 단계의 입력 버전·지연·비용·결과·오류를 기록해야 한다. 다만 원문 prompt와 Tool 결과에는 민감정보가 들어갈 수 있으므로 기본값은 식별자와 요약 중심으로 두고 원문 수집은 별도 승인과 보존 정책 아래에서만 사용한다.
Prompt Engineering은 왜 개발자의 일인가
기업용 AI Agent에서 prompt를 사용자 문장이 아니라 system prompt, grounding, output schema를 포함한 백엔드 제어 로직으로 설계해야 하는 이유를 정리합니다.
Temperature와 Top-p, 그리고 안정적인 응답
기업용 AI Agent에서 temperature와 top-p를 창의성 설정이 아니라 일관성, 재현성, 예측 가능성을 위한 generation parameter 정책으로 다뤄야 하는 이유를 정리합니다.
모든 질문에 RAG를 쓰면 안 되는 이유
기업용 AI Agent 운영에서 모든 질문을 RAG로 처리하면 latency와 비용이 증가합니다. 질문 유형에 따라 RAG 경로와 일반 생성 경로를 분리해야 하는 이유를 정리합니다.
LLM 비용과 응답 속도를 동시에 잡는 방법
운영 환경에서 LLM 시스템의 latency와 cost를 줄이기 위해 top-k, context 길이, 모델 분리, 캐싱을 어떻게 조정하는지 정리합니다.
KMWorks AI Tech Lab은 설계 이유와 운영 트레이드오프를 근거와 함께 기록합니다.
AI 프로젝트 문의