30초 답변
기업 RAG의 데이터 준비는 파일 수집이 아니라 기준 문서 선정, 문서 구조 보존, 소유자·최신성·권한 메타데이터 연결, 변경·삭제 반영과 평가 질문 준비까지 포함한다. 처음에는 사용 빈도가 높은 업무 한두 개와 대표 문서로 시작하고 검색과 답변을 따로 측정한다.
문서 목록보다 업무 질문부터
“사규 3천 건을 넣자”보다 “휴가 규정, 구매 승인, 제품 A/S 문의를 누가 어떤 상황에서 묻는가”가 먼저다. 질문이 정해져야 필요한 문서, 최신성, 답변 형식과 권한을 판단할 수 있다.
문서마다 붙일 정보
| 메타데이터 | 쓰임 |
|---|---|
| 문서 ID와 버전 | 수정·삭제 시 기존 청크를 정확히 교체 |
| 제목·문서 유형 | 검색 필터와 출처 표시 |
| 소유 부서·담당자 | 내용 확인과 갱신 책임 |
| 발행·시행·만료일 | 최신 문서 우선과 폐기 판단 |
| 사용자·그룹 권한 | 검색 단계의 접근 통제 |
| 원문 위치 | 사용자가 답변 근거를 직접 확인 |
| 파서·인덱스 버전 | 문제 발생 시 재현과 롤백 |
문서 구조를 평평하게 만들지 않는다
제목, 절, 표, 주석, 이미지와 페이지 위치를 잃으면 검색 결과는 나오지만 근거를 확인하기 어렵다. 문서 유형별로 파싱 방식을 나누고, 표는 행·열 관계를 보존하며, 이미지나 스캔 문서는 원문 위치를 연결한다.
Microsoft의 RAG chunking 가이드도 고정 길이, 문장, 문서 구조, 이미지·표 등 콘텐츠 특성에 따라 청킹 방식을 비교하도록 안내한다. 하나의 크기로 모든 문서를 자르는 방식은 검증하기 쉽지만 최종 선택은 문서와 질문에 맞춰 평가해야 한다.
중복과 충돌을 처리한다
같은 규정의 초안, 최종본, 교육자료와 개인 정리본이 함께 있으면 검색 상위 결과가 서로 다른 답을 줄 수 있다. 기준 문서와 참고 문서를 구분하고, 시행일과 폐기 상태를 관리한다. 충돌이 남으면 AI가 임의로 선택하지 않고 사용자에게 차이를 보여주거나 담당자 확인으로 넘긴다.
권한은 검색 전에 적용한다
화면에서 출처 링크만 숨기는 것은 접근 통제가 아니다. 인증된 사용자의 부서·그룹·역할을 검색 필터에 결합해 권한이 없는 청크가 모델 입력에 포함되지 않게 해야 한다. Microsoft의 secure multitenant RAG 구조도 사용자 신원을 요청 흐름에 전달하고 허용된 grounding data만 검색하도록 설명한다.
갱신과 삭제가 반영되는 시간
원본이 바뀌었는데 인덱스가 며칠 뒤 바뀐다면 그동안 잘못된 답이 나갈 수 있다. 문서 생성·수정·삭제·권한 변경 이벤트를 구분하고, 허용 가능한 반영 시간을 정한다. 파서나 임베딩 모델을 바꿀 때는 기존 인덱스를 즉시 덮기보다 새 인덱스를 검증한 뒤 전환할 수 있어야 한다.
평가 질문을 데이터와 함께 준비한다
- 정답 문서가 명확한 질문
- 두 문서를 함께 봐야 하는 질문
- 표·이미지에서 찾아야 하는 질문
- 답이 없는 질문
- 오래된 문서와 최신 문서가 충돌하는 질문
- 권한에 따라 결과가 달라지는 질문
검색 단계에서는 정답 문서가 상위 후보에 들어오는지 보고, 답변 단계에서는 근거 안에서 정확하고 빠짐없이 답하는지 따로 본다.
준비도 체크리스트
- 대상 업무와 실제 질문이 정해져 있다.
- 기준 문서와 참고 문서를 구분했다.
- 소유자·버전·시행일·원문 위치가 있다.
- 문서와 청크에 권한 메타데이터를 연결할 수 있다.
- 표·이미지·스캔 문서의 처리 방식을 정했다.
- 생성·수정·삭제·권한 변경 반영 기준이 있다.
- 검색과 답변을 나눠 평가할 질문셋이 있다.
KMWORKS Reference Demo로 확인하기
상담 해결 데모에서는 FAQ, 매뉴얼과 상담 사례가 어떻게 근거로 제시되는지 확인할 수 있다.
KMWORKS 자체 제작 Reference Demo이며 샘플 데이터를 사용한다. 고객 납품 실적이나 실제 고객 데이터 기반 성능을 의미하지 않는다.
근거 자료
- Microsoft Azure Architecture Center, RAG chunking phase
- Microsoft Azure Architecture Center, RAG chunk enrichment phase
- Microsoft Azure Architecture Center, Secure multitenant RAG
- OWASP GenAI, LLM01 Prompt Injection
자주 묻는 질문
문서가 많을수록 RAG 답변이 좋아지나?
아니다. 중복되거나 오래된 문서가 많으면 서로 충돌하는 근거가 늘어난다. 실제 질문에 필요한 기준 문서부터 작게 시작하는 편이 평가와 운영에 유리하다.
PDF 파일만 모아 전달하면 개발을 시작할 수 있나?
초기 진단은 가능하지만 문서 소유자, 기준일, 공개 범위, 삭제·갱신 방식과 대표 질문이 함께 있어야 운영 구조와 품질 기준을 정할 수 있다.
권한은 답변을 만든 뒤 화면에서 숨기면 되나?
안 된다. 권한이 없는 문서는 검색 단계에서 후보에 들어오지 않아야 한다. 원본 권한을 문서와 청크 메타데이터에 연결하고 질의 시 서버에서 필터링해야 한다.