[Tech Notes]

문서 집합·청킹·임베딩(Chunking·Embedding)의 관계

RAG 검색 품질을 결정하는 기본 흐름

RAG 시스템은 문서 집합(corpus), 청킹, 임베딩으로 이어지는 흐름 위에서 동작한다.

문서 집합은 검색 대상이 되는 전체 문서이고, 청킹은 이 문서를 검색 단위로 나누는 과정이다. 임베딩은 각 청크를 의미 벡터로 변환하는 단계다.

세 단계는 서로 맞물려 있다. 청크 기준이 바뀌면 임베딩 결과도 달라지고, 임베딩 모델을 교체하면 기존 벡터는 모두 무효가 된다.

RAG 성능 문제는 검색 알고리즘보다 앞단의 문서 집합·청킹·임베딩에서 생기는 경우가 훨씬 많다.