운영 & 최적화

품질·지연·비용·사고 대응을 함께 운영합니다

관측성, 평가 기반 배포, 응답 지연 SLO, 작업당 비용과 AI 사고 대응 체계를 다룹니다.

10 ARTICLES

운영 & 최적화 글

발행일이 최신인 글부터 확인할 수 있습니다.

생성형 AI 사고 대응 Runbook: 탐지·차단·복구·사후 분석

일반 장애 대응 절차에 AI 특유의 모델·프롬프트·검색 인덱스·도구·데이터 경계를 추가합니다. 먼저 사용자와 외부 시스템에 미치는 영향을 차단하고 배포 버전 ID와 트레이스를 보존합니다. 모델뿐 아니라 프롬프트·정책·도구·인덱스도 각각 롤백하고, 복구 후에는 재현 사례를 평가셋과 모니터링 규칙에 반영합니다.

글 읽기

LLM 응답 지연을 사용자 경험과 SLO로 관리하는 법

응답 시간을 요청 접수, 첫 진행 표시, 첫 유용한 결과, 최종 완료로 나눠 보고 업무 유형별 p95 SLO를 둡니다. 스트리밍은 체감 대기 시간을 줄이지만 실제 작업 속도를 높이지는 않습니다. 그래서 진행 상태·취소·부분 결과·비동기 완료와 함께 설계해야 합니다.

글 읽기

Eval-driven Release: 모델·프롬프트·인덱스 변경을 안전하게 배포하는 법

대표 업무와 실패 사례를 포함한 고정 평가셋으로 기준선과 후보 버전을 비교합니다. 검색, 답변, 도구 선택, 안전성, 비용, 지연은 나눠서 봅니다. 자동 평가만으로 승인하지 않고 고위험 사례는 사람이 검토하며, 카나리 배포와 롤백 기준은 배포 전에 정합니다.

글 읽기

AI 에이전트 관측성: 트레이스(Trace)로 검색·모델·도구 실패를 찾는 법

사용자 요청 한 건을 분류, 검색, 모델 호출, 도구 실행, 승인, 최종 응답까지 하나의 트레이스로 연결합니다. 단계마다 입력 버전·지연·비용·결과·오류를 기록합니다. 원문 프롬프트와 도구 결과에는 민감정보가 포함될 수 있으므로 기본값은 식별자와 요약 중심으로 두고, 원문 수집은 별도 승인과 보존 정책 아래에서만 허용합니다.

글 읽기

KMWORKS AI Tech Lab은 설계 이유와 운영 트레이드오프를 근거와 함께 기록합니다.

AI 프로젝트 문의