30초 답변
출처 인용은 답변 끝에 문서 목록을 붙이는 기능이 아니다. 중요한 주장 가까이에 근거를 연결하고, 사용자가 문서 제목·발행일·해당 구절·원문 위치·권한·최신성을 확인할 수 있게 해야 한다.
근거가 없거나 문서끼리 충돌하면 출처 모양만 보여주지 말고 “확인할 수 없음”, 질문 범위 축소, 담당자 확인 중 하나를 제공한다. 인용은 신뢰를 요구하는 장식이 아니라 사용자가 AI를 검증할 수 있게 하는 인터페이스다.
이 글의 핵심
- 인용은 주장 단위로 연결한다.
- 출처가 있다는 사실과 그 출처가 주장을 뒷받침한다는 것은 다르다.
- 근거가 없을 때 답하지 않는 경험까지 설계해야 한다.
나쁜 인용과 좋은 인용
나쁜 인용:
- 답변 끝에 관련 문서 8개만 나열
- 링크를 눌러도 문서 첫 페이지
- 오래된 정책과 최신 정책을 구분하지 않음
- 사용 권한이 없는 문서 제목 노출
- 실제 답변 문장을 뒷받침하지 않는 문서
좋은 인용:
- 핵심 주장 바로 뒤의 번호 또는 링크
- 문서 제목, 버전, 발행·수정일
- 해당 구절 미리보기
- 페이지·절·표·원문 좌표
- 충돌하거나 폐기된 문서 표시
- 사용자의 원문 접근 권한 확인
Grounding과 citation은 다르다
Grounding은 답변이 주어진 근거에 실제로 기반하는지에 관한 품질이다. Citation은 그 연결을 사용자에게 보여주는 표현이다.
두 가지 실패가 가능하다.
- 답은 근거에 맞지만 citation UI가 잘못된 위치를 가리킴
- citation은 그럴듯하지만 답의 주장을 실제로 뒷받침하지 않음
Microsoft의 RAG evaluator 문서는 retrieval 관련성, 최종 답변의 groundedness, 관련성, 완전성을 서로 다른 평가로 다룬다. UI도 이 구분을 반영해야 한다.
사용자가 확인해야 할 네 가지
어떤 문서인가
문서 제목과 소유 조직을 보여준다.
언제의 정보인가
정책 버전과 최종 수정일을 보여준다.
어디에 있는가
페이지, 절, 표, 문단 등 해당 위치로 이동한다.
왜 이 답을 만들었는가
내부 사고 과정을 노출할 필요는 없지만, 선택한 규정과 필터 조건처럼 업무상 설명 가능한 근거를 제공한다.
Microsoft HAX 지침은 AI가 무엇을 할 수 있고 얼마나 잘할 수 있는지 알리며, 틀렸을 때 수정·무시·복구를 쉽게 하고 행동 이유를 확인할 수 있게 하도록 권한다.
출처가 없을 때의 UX
좋은 RAG는 항상 답하는 시스템이 아니다.
- 관련 문서를 찾지 못했습니다.
- 현재 권한으로 확인할 수 있는 문서가 없습니다.
- 두 정책의 적용일이 충돌합니다.
- 이 질문은 담당자 확인이 필요합니다.
그 다음 행동을 제공한다.
- 질문 범위 좁히기
- 검색 조건 보기
- 관련 문서 직접 탐색
- 담당자에게 전달
- 오류 신고
권한과 인용
검색 단계에서 권한이 없는 문서를 제외해야 한다. 답변에서 가렸더라도 문서 제목·요약·citation이 이미 노출되면 정보 유출이다.
Citation 링크도 원문 시스템의 권한 검사를 다시 통과해야 한다. 공유용 URL에 영구 토큰을 넣지 않는다.
평가할 지표
- 인용한 구절이 주장을 실제로 지지하는 비율
- citation 클릭 후 올바른 위치 도달
- 오래된 문서 인용
- 권한 오류
- no-answer 후 재질문·이관
- 사용자가 결과를 수정한 비율
- 출처 확인 후 업무 완료율
출처 클릭률이 낮다고 citation을 없애지 않는다. 고위험 업무에서 검증 가능성 자체가 제품 통제다.
자주 묻는 질문
답변마다 출처가 꼭 필요한가?
일반적인 글쓰기나 형식 변환에는 필요하지 않을 수 있다. 사내 사실·규정·정책처럼 검증이 필요한 주장에는 출처가 중요하다.
출처가 많을수록 신뢰도가 높나?
아니다. 관련 없는 출처가 많으면 오히려 검증이 어렵다. 주장과 직접 연결되는 최소 충분 근거를 우선한다.
모델의 자신감 점수를 보여주면 되나?
모델의 자기평가만으로 정확성을 보장할 수 없다. 검색 근거, 충돌, 권한, 평가 결과와 함께 다뤄야 한다.