AI Gateway, 구조화 출력, 보안 경계, durable execution, 데이터 거버넌스를 포함한 참조 아키텍처를 다룹니다.
발행일이 최신인 글부터 확인할 수 있습니다.
AI 데이터 거버넌스는 데이터 등급과 허용 목적을 사용 사례별로 정하고, 원천 데이터부터 prompt·embedding·모델 공급자·Tool·로그·백업·삭제까지 흐름을 목록화하는 것에서 시작한다. 각 처리 지점에 최소 수집·보존 기한·redaction·지역과 업체 정책을 집행하고, 공급자 약관과 기능별 보존 차이를 증거로 관리하며 사용자가 조회·수정·삭제 결과를 확인할 수 있게 해야 한다.
장시간 실행 Agent는 채팅 요청 하나가 아니라 영속 상태 머신으로 모델링하고, 각 외부 부작용에 안정적인 멱등성 키를 붙이며 완료된 단계의 결과와 체크포인트를 저장해야 한다. 일시 오류만 제한 재시도하고 취소는 협력적으로 전파하며, 되돌릴 수 없는 단계 전에는 승인하고 부분 완료는 도메인별 보상과 수동 복구 경로로 처리해야 한다.
Structured Output은 필드·타입·필수값 같은 구조를 안정화하지만 추출값의 사실성, 업무 규칙, 권한, 최신성까지 보장하지 않는다. 따라서 공급자 종료 상태를 먼저 처리하고 JSON Schema 검증 뒤 도메인 불변식·근거 대조·권한 검사를 거치며, 스키마 버전과 실패 상태를 명시하고 형식 테스트와 의미 평가를 분리해야 한다.
AI Gateway는 단순 API 프록시가 아니라 요청의 업무 유형·데이터 등급·필요 기능을 판별하고 허용된 모델 후보 안에서 라우팅하며, 전체 deadline 안에서 제한적으로 재시도·폴백하고 공급자·모델·리전별 서킷 브레이커와 출력 검증을 적용하는 정책 집행점이어야 한다.
외부 문서와 도구 결과를 지시가 아닌 비신뢰 데이터로 취급하고, 모델 출력도 실행 명령이 아닌 제안으로 간주해야 한다. 최소 권한·도구 allowlist·읽기와 쓰기 분리·고위험 승인·구조화된 중간 표현·서버 측 권한 및 출력 검증·외부 전송 통제를 겹쳐 적용해야 간접 Prompt Injection의 피해 범위를 줄일 수 있다.
왜 단순 챗봇으로는 부족한가, 그리고 기업 환경에서 실제로 동작 가능한 AI Agent 아키텍처를 어떻게 설계해야 하는지 정리합니다.
KMWorks AI Tech Lab은 설계 이유와 운영 트레이드오프를 근거와 함께 기록합니다.
AI 프로젝트 문의