[LLM / RAG]

RAG 성능은 Chunking과 Embedding에서 갈린다

검색 정확도를 좌우하는 앞단 설계 요소

RAG Quality Chunk + Embed
Corpus
문서 품질정리되지 않은 문서 집합은 검색 품질을 흔듭니다.
Chunk
검색 단위 설계크기와 겹침(overlap)이 컨텍스트 길이와 의미 보존을 결정합니다.
Embed
의미 거리 기준모델 선택에 따라 비슷함의 기준이 달라집니다.
이 글의 핵심
  • RAG 검색 품질은 LLM보다 문서 집합, 청킹, 임베딩 설계에서 먼저 갈린다.
  • 청크가 크면 비용과 컨텍스트가 늘고, 작으면 문맥이 끊긴다.
  • 청킹과 임베딩 모델은 함께 튜닝해야 한다.

RAG(Retrieval-Augmented Generation)를 도입할 때는 대부분 사내 문서를 잘 찾아 정확히 답해 주리라 기대한다.

실제로 구현해 보면 RAG 성능은 모델보다 훨씬 앞단의 설계 요소에서 갈리는 경우가 많다. 대표적인 요소가 청킹(Chunking)과 임베딩(Embedding)이다.

RAG 성능이 기대만큼 나오지 않는 이유

RAG 품질이 낮을 때 흔히 나오는 증상은 다음과 같다.

  • 질문과 관련 없는 문서가 검색된다.
  • 중요한 문서가 검색 결과에서 빠진다.
  • 답변이 두루뭉술하다.

이때 원인은 LLM보다 검색 단계에 있는 경우가 많다. 더 정확히는 문서를 어떻게 나누고 어떤 방식으로 벡터화했는지가 문제다.

청킹은 검색 단위를 설계하는 일이다

청킹은 문서를 일정 길이로 나누는 작업처럼 보이지만, 실제로는 검색 단위를 설계하는 과정에 가깝다.

청크가 너무 큰 경우

  • 검색 결과는 맞을 수 있다.
  • LLM에 전달되는 컨텍스트가 불필요하게 길어진다.
  • 응답 시간과 비용이 늘어난다.

청크가 너무 작은 경우

  • 검색은 많이 되지만 문맥이 끊긴다.
  • 문서가 가진 의미가 약해진다.

고정된 정답 크기는 없다. 문서 구조와 질문 유형을 기준으로 시작값을 정한다. 그다음 겹침(overlap) 여부를 포함해 정답 문서 검색률과 비용을 반복 측정한다. 제조 사양서, 상담 기록, 표 데이터에 같은 청크 크기를 일괄 적용하면 의미 경계가 달라질 수 있다.

청킹은 자동화 도구에 맡겨 두기 어렵다. RAG 품질을 좌우하는 핵심 튜닝 항목이다.

임베딩 모델 선택이 중요한 이유

청킹 다음으로 중요한 것이 임베딩 모델이다. 임베딩은 텍스트를 벡터로 변환해 의미상 거리를 계산할 수 있게 한다.

문제는 어떤 임베딩 모델을 쓰느냐에 따라 “비슷하다”고 판단하는 기준이 달라진다는 점이다.

특히 기업 환경에서는 도메인 특화 용어, 한국어 문맥, 기술 문서 표현이 일반적인 영어 중심 모델과 맞지 않는 경우가 많다.

그래서 임베딩 모델은 처음 선택이 매우 중요하다. 모델을 변경하면 전체 문서 집합을 다시 임베딩해야 한다는 점도 고려해야 한다.

청킹과 임베딩은 함께 튜닝해야 한다

실무에서 자주 겪는 실수는 청킹만 조정하거나 임베딩 모델만 교체하는 것이다. 두 요소는 항상 함께 움직인다.

  • 청크가 커지면 임베딩이 담는 의미도 달라진다.
  • 임베딩 모델이 바뀌면 적절한 청크 크기도 달라진다.

그래서 RAG 품질 개선은 보통 다음 순서로 진행된다.

  1. 청킹 전략 조정
  2. 임베딩 모델 비교
  3. 검색 결과 평가
  4. 청킹 미세 조정

이 과정을 거쳐야 검색이 잘 되는 RAG에 가까워진다.

RAG에서 검색이 안 되면 모델을 교체하기 전에 문서를 어떻게 나누고 벡터화했는지부터 확인한다.

문서 유형에 따라 청킹 전략이 달라진다

RAG 문서 구조별 청킹 시작점
전략적합한 데이터장점주의점
고정 크기 + 겹침(overlap)긴 일반 문서, 메모, 상담 기록구현이 단순하고 기준 비교가 쉽다제목·표·문단 경계가 끊길 수 있다
문단·제목 기반매뉴얼, 규정, 기술문서의미와 문서 계층을 보존하기 쉽다문서 형식별 전처리가 필요하다
행·레코드 기반클레임, 정비, 견적, 센서 테이블ID와 필드 관계를 그대로 유지한다텍스트 검색과 정확 일치 조건을 함께 설계해야 한다
질문·요약 메타데이터복합 질문이 많은 지식베이스검색 재현율(Recall)을 높일 수 있다색인 비용과 갱신 복잡도가 증가한다

재현 가능한 자체 검증 방법

제조 품질클레임 데모 검증 설계

데모에 준비된 8개 대표 질문을 고정 평가셋으로 두고, 청킹 또는 임베딩 설정을 변경할 때 같은 질문으로 다시 확인한다.

  1. 정답 레코드가 Top-k 안에 포함되는지 확인한다.
  2. 답변의 원인 후보가 반환 근거와 일치하는지 검토한다.
  3. 근거 없는 확정 표현과 잘못된 LOT·부품번호가 없는지 기록한다.
  4. 응답시간과 입력된 근거 수를 함께 비교한다.

2026-07-12 스모크 테스트에서는 “최근 A100 팬 소음 클레임” 질문에 9,065ms로 응답했고 티켓 테이블 근거 5건을 반환했다. 1회 정상 동작을 확인한 결과이며, 청크 크기 간 우열을 증명하는 벤치마크는 아니다.

관련 에이전트 데모

Reference Demo 01제조 품질클레임 Agent

티켓·LOT·부품 이력을 레코드 단위 근거로 검색합니다.

데모 실행 ↗
Reference Demo 00상담해결 AI Agent

FAQ·매뉴얼·유사상담처럼 문서 유형이 다른 근거 검색을 확인합니다.

데모 실행 ↗
Reference Demo 08의료·정밀장비 서비스 Agent

장비·점검·서비스 문서의 구조화 검색 시나리오를 확인합니다.

데모 실행 ↗
Demo Hub산업별 16개 전체 데모

문서와 테이블 구조가 다른 16가지 RAG 시나리오를 확인합니다.

전체 데모 보기
공식 참고 자료
콘텐츠 검증 정보

작성·검증: KMWORKS AI Tech Lab. 공개 Reference Demo 01의 고정 질문과 반환 근거를 확인했으며, 수치 비교는 동일 데이터·질문·모델 조건에서 반복 측정할 때만 성능 결과로 사용한다.

정리하며

RAG에서 가장 흔한 오해는 “검색이 안 되면 모델을 바꾸면 된다”는 생각이다. 원인별 비율을 일반화할 수는 없다. 모델을 교체하기 전에 문서 집합 품질, 청킹, 임베딩, 검색 결과를 같은 평가셋으로 나눠 확인하는 것이 우선이다.

RAG 성능이 기대에 못 미친다면 LLM을 의심하기 전에 문서를 어떻게 나누고 벡터화했는지부터 다시 점검하는 편이 훨씬 빠르다.