RAG 최신성 운영: 생성·수정·삭제·권한 변경과 인덱스 롤백
원본 변경을 생성·수정·삭제·권한 변경 이벤트로 기록하고, 결정적 문서 ID와 버전으로 모든 파생 청크를 멱등하게 갱신합니다. 스키마·파서·임베딩을 변경할 때는 새 인덱스를 나란히 구축해 검증한 뒤 별칭(alias)으로 전환합니다. 롤백 전에는 삭제·권한 회수 이벤트를 반드시 다시 적용해 오래된 보안 상태가 되살아나지 않게 합니다.
문서 집합 구성, 청킹, 임베딩, 하이브리드 검색, 권한 필터, 멀티모달 문서, 색인 수명 주기를 다룹니다.
발행일이 최신인 글부터 확인할 수 있습니다.
원본 변경을 생성·수정·삭제·권한 변경 이벤트로 기록하고, 결정적 문서 ID와 버전으로 모든 파생 청크를 멱등하게 갱신합니다. 스키마·파서·임베딩을 변경할 때는 새 인덱스를 나란히 구축해 검증한 뒤 별칭(alias)으로 전환합니다. 롤백 전에는 삭제·권한 회수 이벤트를 반드시 다시 적용해 오래된 보안 상태가 되살아나지 않게 합니다.
PDF를 텍스트로만 평탄화하지 않고 페이지·섹션·표·그림 단위로 분석합니다. 원문 텍스트, 구조화 데이터, 설명 텍스트, 페이지 좌표는 서로 연결해 저장합니다. 검색할 때는 질문 유형에 맞는 표현을 함께 찾고, 답변에는 페이지와 원문 영역을 인용해 사용자가 바로 검증할 수 있게 합니다.
원본 저장소의 ACL(접근 권한 목록)을 콘텐츠와 같은 수명 주기로 수집해 모든 문서·청크에 상속합니다. 인증된 사용자의 principal과 검색 필터는 서버에서 결합합니다. ACL 누락, 해석 실패, 권한 조회 실패가 생기면 결과를 비우는 기본 거부 정책을 적용하고, 캐시·로그·인용에도 같은 권한 경계를 지킵니다.
BM25와 벡터 검색을 병렬로 실행한 뒤 순위 기반 RRF로 합치고, 필요할 때만 상위 후보를 재정렬합니다. 평가셋에는 제품 코드·약어·조항 번호와 자연어로 바꿔 말한 질문을 모두 포함하고, 검색과 최종 답변을 나눠 측정합니다.
질문별 정답 문서 라벨(qrels)로 검색을 평가하고, 검색 결과를 고정한 상태에서 답변의 정확성·근거성·완결성·인용을 따로 평가합니다. 평가셋은 실제 로그와 도메인 전문가 라벨을 중심으로 만들고 답변 가능·답변 불가·권한 없음·문서 충돌 사례를 포함합니다. 회귀 기준은 전체 평균 대신 질문 유형별로 운영합니다.
RAG 검색 정확도를 좌우하는 청킹과 임베딩의 의미, 튜닝 기준, 실무 개선 순서를 정리합니다.
RAG 운영에서 Vector DB 선택보다 중요한 Top-k, 재정렬, 컨텍스트 길이, 응답 시간과 비용의 트레이드오프를 정리합니다.
KMWORKS AI Tech Lab은 설계 이유와 운영 트레이드오프를 근거와 함께 기록합니다.
AI 프로젝트 문의