AI Tech Lab · 47 articles

기업 환경에서 실제로 동작하는 AI 시스템 설계를 공유합니다

AI Tech Lab은 기업용 AI 에이전트, LLM/RAG, 아키텍처, 운영 최적화, 실험 기록을 정리하는 기술 블로그입니다. 홍보보다 설계 이유와 트레이드오프를 기록하는 데 중점을 둡니다.

Enterprise AI Agent RAG + Tool + Ops
Intent
질문 유형 분류RAG, 생성, 도구 호출 경로를 먼저 나눕니다.
Grounding
문서 집합 / 청크 / 임베딩문서 품질과 검색 전략이 답변 품질을 결정합니다.
Ops
응답 시간 / 비용 / 캐시운영 단계에서는 속도와 비용을 기준으로 설계를 조정합니다.
Latest · 47 Articles

최신 글

각 글은 설계 이유와 운영 트레이드오프를 함께 설명합니다.

생성형 AI 사고 대응 Runbook: 탐지·차단·복구·사후 분석

일반 장애 대응 절차에 AI 특유의 모델·프롬프트·검색 인덱스·도구·데이터 경계를 추가합니다. 먼저 사용자와 외부 시스템에 미치는 영향을 차단하고 배포 버전 ID와 트레이스를 보존합니다. 모델뿐 아니라 프롬프트·정책·도구·인덱스도 각각 롤백하고, 복구 후에는 재현 사례를 평가셋과 모니터링 규칙에 반영합니다.

글 읽기

RAG 최신성 운영: 생성·수정·삭제·권한 변경과 인덱스 롤백

원본 변경을 생성·수정·삭제·권한 변경 이벤트로 기록하고, 결정적 문서 ID와 버전으로 모든 파생 청크를 멱등하게 갱신합니다. 스키마·파서·임베딩을 변경할 때는 새 인덱스를 나란히 구축해 검증한 뒤 별칭(alias)으로 전환합니다. 롤백 전에는 삭제·권한 회수 이벤트를 반드시 다시 적용해 오래된 보안 상태가 되살아나지 않게 합니다.

글 읽기

기업용 생성형 AI 데이터 거버넌스와 개인정보 보호 설계

AI 데이터 거버넌스는 사용 사례별로 데이터 등급과 허용 목적을 정하는 데서 시작합니다. 원천 데이터에서 프롬프트·임베딩·모델 공급자·도구·로그·백업·삭제까지 데이터 흐름을 목록으로 정리합니다. 처리 지점마다 최소 수집, 보존 기한, 마스킹, 지역·업체 정책을 적용합니다. 공급자 약관과 기능별 보존 차이는 증거로 관리하고, 사용자가 조회·수정·삭제 결과를 확인할 수 있게 합니다.

글 읽기

MCP와 Function Calling은 무엇이 다르고 어떻게 함께 쓰나

Function Calling은 모델이 스키마에 맞는 도구 호출을 제안하는 모델 API 기능입니다. MCP는 AI 애플리케이션과 외부 시스템 사이에서 Tool·Resource·Prompt를 발견하고 연결하는 표준 프로토콜입니다. 두 기능은 MCP Host가 서버의 Tool 스키마를 읽어 모델의 Function Calling 형식으로 전달하는 방식으로 함께 쓰입니다.

글 읽기

LLM 응답 지연을 사용자 경험과 SLO로 관리하는 법

응답 시간을 요청 접수, 첫 진행 표시, 첫 유용한 결과, 최종 완료로 나눠 보고 업무 유형별 p95 SLO를 둡니다. 스트리밍은 체감 대기 시간을 줄이지만 실제 작업 속도를 높이지는 않습니다. 그래서 진행 상태·취소·부분 결과·비동기 완료와 함께 설계해야 합니다.

글 읽기

장시간 실행 AI 에이전트의 재시작·보상·멱등성 설계

장시간 실행 에이전트는 영속 상태 머신으로 모델링합니다. 외부 부작용마다 안정적인 멱등성 키를 부여하고, 완료된 단계의 결과와 체크포인트를 저장합니다. 재시도는 일시 오류에만 제한적으로 적용하고 취소는 협력적으로 전파합니다. 되돌릴 수 없는 단계 전에는 승인을 받고, 부분 완료는 도메인별 보상과 수동 복구 경로로 처리합니다.

글 읽기

프롬프트, RAG, Fine-tuning 중 무엇을 선택해야 할까

최신 사내 지식으로 답하게 하려면 RAG를, 출력 형식·역할·제약을 조정하려면 프롬프트와 Structured Output을 검토합니다. 반복되는 행동 패턴을 안정적으로 학습시켜야 할 때는 충분한 평가 데이터를 갖추고 Fine-tuning을 검토합니다. 세 방법은 해결하는 문제가 서로 다릅니다.

글 읽기

Eval-driven Release: 모델·프롬프트·인덱스 변경을 안전하게 배포하는 법

대표 업무와 실패 사례를 포함한 고정 평가셋으로 기준선과 후보 버전을 비교합니다. 검색, 답변, 도구 선택, 안전성, 비용, 지연은 나눠서 봅니다. 자동 평가만으로 승인하지 않고 고위험 사례는 사람이 검토하며, 카나리 배포와 롤백 기준은 배포 전에 정합니다.

글 읽기

Structured Output과 JSON Schema로 AI 시스템 계약을 만드는 법

Structured Output은 필드·타입·필수값 같은 구조를 안정화하지만 추출값의 사실성, 업무 규칙, 권한, 최신성까지 보장하지는 않습니다. 그래서 공급자 종료 상태를 먼저 처리하고, JSON Schema 검증 뒤에 도메인 불변식·근거 대조·권한 검사를 거칩니다. 스키마 버전과 실패 상태를 명시하고, 형식 테스트와 의미 평가는 나눠서 운영합니다.

글 읽기

PDF·표·이미지를 놓치지 않는 멀티모달 RAG 설계

PDF를 텍스트로만 평탄화하지 않고 페이지·섹션·표·그림 단위로 분석합니다. 원문 텍스트, 구조화 데이터, 설명 텍스트, 페이지 좌표는 서로 연결해 저장합니다. 검색할 때는 질문 유형에 맞는 표현을 함께 찾고, 답변에는 페이지와 원문 영역을 인용해 사용자가 바로 검증할 수 있게 합니다.

글 읽기

Context Engineering은 Prompt Engineering과 무엇이 다른가

Prompt Engineering은 모델에 주는 지시문의 표현과 구조를 설계하는 일입니다. Context Engineering은 지시문과 함께 도구 정의, 검색 문서, 대화 이력, 메모리, 중간 결과 가운데 이번 추론에 어떤 정보를 포함하고 제외할지 관리하는 일입니다.

글 읽기

기업용 AI Gateway와 멀티 모델 라우팅 참조 구조

AI Gateway는 정책 집행 지점으로 설계합니다. 요청의 업무 유형·데이터 등급·필요 기능을 판별해 허용된 모델 후보 안에서 라우팅합니다. 전체 응답 기한(deadline) 안에서만 제한적으로 재시도·폴백하고, 공급자·모델·리전별 서킷 브레이커와 출력 검증을 적용합니다.

글 읽기

기업 RAG 권한 설계: ACL과 메타데이터 필터를 ingestion부터 query까지 연결하는 법

원본 저장소의 ACL(접근 권한 목록)을 콘텐츠와 같은 수명 주기로 수집해 모든 문서·청크에 상속합니다. 인증된 사용자의 principal과 검색 필터는 서버에서 결합합니다. ACL 누락, 해석 실패, 권한 조회 실패가 생기면 결과를 비우는 기본 거부 정책을 적용하고, 캐시·로그·인용에도 같은 권한 경계를 지킵니다.

글 읽기

Structured Output과 JSON mode는 무엇이 다른가

JSON mode는 문법적으로 유효한 JSON 출력을 목표로 하지만 필요한 필드·타입·enum까지 보장하지는 않습니다. Structured Output은 지원되는 모델·API에서 strict: true를 사용하고, refusal이 없고 응답이 중간에 끊기지 않았을 때 제공한 JSON Schema 일치를 보장합니다. 값의 사실성·업무 규칙·권한은 서버에서 별도로 검증해야 합니다.

글 읽기

AI 에이전트 관측성: 트레이스(Trace)로 검색·모델·도구 실패를 찾는 법

사용자 요청 한 건을 분류, 검색, 모델 호출, 도구 실행, 승인, 최종 응답까지 하나의 트레이스로 연결합니다. 단계마다 입력 버전·지연·비용·결과·오류를 기록합니다. 원문 프롬프트와 도구 결과에는 민감정보가 포함될 수 있으므로 기본값은 식별자와 요약 중심으로 두고, 원문 수집은 별도 승인과 보존 정책 아래에서만 허용합니다.

글 읽기

Prompt Injection과 데이터 유출을 막는 기업 AI 신뢰 경계 설계

외부 문서와 도구 결과는 지시가 아닌 비신뢰 데이터로, 모델 출력은 실행 명령이 아닌 제안으로 다룹니다. 최소 권한, 도구 허용 목록(allowlist), 읽기·쓰기 분리, 고위험 작업 승인을 기본으로 둡니다. 여기에 구조화된 중간 표현, 서버 측 권한·출력 검증, 외부 전송 통제를 겹쳐 적용해야 간접 Prompt Injection의 피해 범위를 줄일 수 있습니다.

글 읽기

RAG 평가셋과 지표 설계: 검색과 답변을 분리해 측정하는 법

질문별 정답 문서 라벨(qrels)로 검색을 평가하고, 검색 결과를 고정한 상태에서 답변의 정확성·근거 충실도·완결성·인용을 따로 평가합니다. 평가셋은 실제 로그와 도메인 전문가 라벨을 중심으로 만들고 답변 가능·답변 불가·권한 없음·문서 충돌 사례를 포함합니다. 회귀 기준은 전체 평균 대신 질문 유형별로 운영합니다.

글 읽기
POINTS

AI 시스템 설계 핵심 포인트

기업용 AI 시스템을 실제 업무에 적용할 때 반복해서 확인해야 하는 설계 기준과 운영 관점을 정리합니다.

Point 1

방향성과 기준 세우기

  • 기업용 AI 에이전트는 왜 챗봇과 달라야 할까
  • 기업 환경에서 AI 에이전트 아키텍처를 설계하는 방법
Point 2

RAG 핵심 기술 집중

  • RAG 성능은 Chunking과 Embedding에서 갈린다
  • Vector DB 선택보다 중요한 건 검색 전략이다
Point 3

운영 관점 주제

  • 모든 질문에 RAG를 쓰지 않는 이유
  • LLM 비용과 응답 시간을 함께 관리하는 법
Point 4

프롬프트와 품질 제어

  • 프롬프트도 백엔드 로직으로 관리한다
  • 기업용 AI는 왜 창의적이면 안 될까
Point 5

AI 에이전트 심화 주제

  • AI 에이전트는 답변에서 끝나지 않는다
  • AI 에이전트 프레임워크는 어떻게 선택해야 할까
Point 6

운영 안정성과 성숙도

  • 임베딩과 검색 결과를 캐싱해야 하는 이유
  • 기업용 AI 에이전트 구축에서 기술보다 중요한 것

KMWORKS AI Tech Lab은 기업 환경에서 실제로 동작하는 AI 시스템 설계를 공유합니다.

AI 프로젝트 문의