RAG 최신성 운영: 생성·수정·삭제·권한 변경과 인덱스 롤백
원본 변경을 create·update·delete·permission change 이벤트로 기록하고 결정적 문서 ID와 버전으로 모든 파생 청크를 멱등 갱신한다. 스키마·파서·임베딩 변경은 새 인덱스를 나란히 구축해 검증 후 alias로 전환하며, 롤백 전에는 삭제·권한 회수 이벤트를 반드시 재적용해 오래된 보안 상태가 되살아나지 않게 한다.
Corpus, chunking, embedding, hybrid search, 권한 필터, 멀티모달 문서와 색인 수명 주기를 다룹니다.
발행일이 최신인 글부터 확인할 수 있습니다.
원본 변경을 create·update·delete·permission change 이벤트로 기록하고 결정적 문서 ID와 버전으로 모든 파생 청크를 멱등 갱신한다. 스키마·파서·임베딩 변경은 새 인덱스를 나란히 구축해 검증 후 alias로 전환하며, 롤백 전에는 삭제·권한 회수 이벤트를 반드시 재적용해 오래된 보안 상태가 되살아나지 않게 한다.
PDF를 단순 텍스트로 평탄화하지 말고 페이지·섹션·표·그림 단위로 분석해 원문 텍스트, 구조화 데이터, 설명 텍스트, 페이지 좌표를 연결 저장한다. 검색 시 질문 유형에 맞는 표현을 함께 찾고, 답변에는 페이지와 원문 영역을 인용해 사용자가 즉시 검증할 수 있게 한다.
원본 저장소의 ACL을 콘텐츠와 같은 수명주기로 수집해 모든 문서·청크에 상속하고, 인증된 사용자의 principal과 검색 필터를 서버에서 결합한다. ACL 누락·해석 실패·권한 조회 실패 시에는 결과를 비우는 deny-by-default 정책을 적용하고 캐시·로그·인용까지 같은 권한 경계를 지켜야 한다.
BM25와 벡터 검색을 병렬 실행한 뒤 순위 기반 RRF로 합치고, 필요할 때만 상위 후보를 리랭킹한다. 제품 코드·약어·조항 번호와 자연어 바꿔 말하기를 모두 포함한 평가셋으로 검색과 최종 답변을 분리 측정해야 한다.
질문별 정답 문서 라벨(qrels)로 retrieval을 평가하고, 고정된 검색 결과를 입력해 answer correctness·groundedness·completeness·citation을 별도로 평가한다. 실제 로그와 도메인 전문가 라벨을 중심으로 answerable·no-answer·권한 없음·충돌 문서 사례를 포함하고, 전체 평균이 아닌 질문 유형별 회귀 기준을 운영한다.
RAG 검색 정확도를 결정하는 보이지 않는 설계 포인트인 Chunking과 Embedding의 의미, 튜닝 기준, 실무 개선 순서를 정리합니다.
RAG 운영에서 Vector DB 선택보다 중요한 Top-k, Re-ranking, context 길이, latency와 비용의 트레이드오프를 정리합니다.
KMWorks AI Tech Lab은 설계 이유와 운영 트레이드오프를 근거와 함께 기록합니다.
AI 프로젝트 문의