[LLM / RAG]

Vector DB 선택보다 중요한 건 검색 전략이다

Top-k, 재정렬(Re-ranking), 성능의 트레이드오프

Search Strategy Top-k + Re-rank
Retrieve
Top-k 후보 검색Recall, 컨텍스트 길이, 응답 시간의 균형을 잡습니다.
Rank
재정렬복잡한 질문에서 더 적절한 문서를 상위로 올립니다.
Operate
트레이드오프정확도, 속도, 비용의 허용 기준을 정합니다.
이 글의 핵심
  • 벡터 DB 자체보다 Top-k, 컨텍스트 길이, 재정렬 같은 검색 전략이 RAG 품질을 좌우한다.
  • Top-k를 키우면 Recall은 좋아지지만 응답 시간과 비용이 늘어난다.
  • 운영 가능한 RAG는 정확도, 속도, 비용의 허용 기준을 먼저 정해야 한다.

RAG 도입 초기에 자주 받는 질문 중 하나는 “Vector DB는 어떤 걸 쓰는 게 좋을까요?”다.

DB 선택도 중요하지만, 운영 경험상 품질에는 DB 종류보다 검색 전략이 훨씬 큰 영향을 준다.

벡터 DB 제품 간 차이는 생각보다 크지 않다

FAISS, Pinecone, Azure AI Search 등 대부분의 벡터 DB는 기본 유사도 검색 성능이 충분하다.

문제는 보통 어떤 DB를 쓰느냐보다 “어떻게 검색하느냐”, “검색 결과를 어떻게 활용하느냐”에서 생긴다.

Top-k 값에 따라 달라지는 것

Top-k는 유사한 문서를 몇 개 가져올지 정하는 값이다.

Top-k가 크면

  • 검색 Recall이 좋아진다.
  • 컨텍스트가 길어진다.
  • 응답 시간이 늘어난다.

Top-k가 작으면

  • 응답은 빨라진다.
  • 중요한 문서를 놓칠 수 있다.

그래서 실무에서는 초기에 넉넉하게 가져오다가 운영 단계에서 3~5 수준으로 줄이는 경우가 많다.

Top-k는 고정값으로 두지 않고 질문 유형과 운영 환경에 따라 조정하는 변수다.

재정렬이 필요한 경우

유사도 검색만으로는 가장 적절한 문서가 늘 상위에 오지는 않는다. 이때 재정렬을 적용한다.

  1. 1차로 벡터 DB에서 후보 문서를 검색한다.
  2. 2차로 LLM이나 별도 모델로 후보를 재정렬한다.

모든 시스템에 필요한 단계는 아니다. 다만 문서 수가 많고 질문이 복잡할수록 재정렬이 검색 품질을 한 단계 높인다.

검색 전략은 항상 트레이드오프다

검색 품질을 높이면 응답 시간과 비용이 늘어난다. 반대로 속도와 비용을 줄이면 검색 정확도가 떨어질 수 있다.

그래서 기업용 RAG에서는 결국 한 가지 질문에 답해야 한다.

이 시스템은 어디까지를 허용할 것인가?
  • 완벽한 정확도인가?
  • 충분히 빠른 응답인가?
  • 예측 가능한 비용인가?

허용 기준을 먼저 정하지 않으면 검색 전략은 계속 흔들린다.

키워드, 벡터, 하이브리드 검색 비교

질문과 데이터 특성에 따른 검색 방식 선택
방식잘 찾는 것놓치기 쉬운 것적합한 예
Keyword/BM25정확한 제품명, 코드, ID, 전문용어동의어와 문장 의미장비번호, 부품번호, 오류코드
Vector유사 의미, 자연어 표현, 증상 설명정확 일치가 중요한 짧은 코드유사 클레임, 장애 증상, 상담 의도
Hybrid + Reranker키워드와 의미 검색의 후보를 결합추가 응답 시간과 운영 복잡도정확 코드와 서술형 질문이 함께 있는 기업 검색

부품견적 데모에서 확인한 검색 요구사항

EQ-001 호환 씰키트 질문

2026-07-12 공개 데모 스모크 테스트에서는 호환표, 견적, 장비모델, 서비스이력과 정책 문서 등 6개 근거를 반환했다. “EQ-001”, “PART-0116” 같은 식별자는 정확 일치가 중요하고, “대체품”, “반복 교체” 같은 표현은 의미 검색이 유리하다. 그래서 산업용 검색에서는 벡터 검색만 쓰기보다 키워드 검색과 벡터 검색의 후보를 결합하고, 필요할 때 재정렬하는 구조가 설명력이 높다.

관측 응답시간 15,008ms는 1회 스모크 테스트 값이며 검색 방식의 우열이나 운영 SLA를 의미하지 않는다.

관련 에이전트 데모

Reference Demo 15산업장비 부품견적 Agent

장비·부품 식별자와 자연어 조건을 함께 검색합니다.

데모 실행 ↗
Reference Demo 07보증·RMA 비용관리 Agent

정책, 제품, RMA 이력과 비용 조건을 함께 검토합니다.

데모 실행 ↗
Reference Demo 13배송예외·클레임 Agent

주문·운송 이벤트 ID와 자연어 클레임을 함께 검색합니다.

데모 실행 ↗
Demo Hub산업별 16개 전체 데모

정확 식별자와 서술형 질문이 섞인 검색 시나리오를 확인합니다.

전체 데모 보기
공식 참고 자료
콘텐츠 검증 정보

작성·검증: KMWORKS AI Tech Lab. 공개 Reference Demo 15의 장비·부품·견적 질문과 반환 근거를 확인했다. 실제 검색 전략 선택은 정답셋 기반 Recall·Precision과 응답 시간 측정을 전제로 한다.

정리하며

벡터 DB는 RAG의 기반이고, RAG 품질은 결국 검색 전략에서 결정된다.

  • Top-k 설정
  • 컨텍스트 길이
  • 재정렬 여부
  • 운영 환경에 따른 튜닝

이 네 가지를 운영 기준에 맞춰 설계해야 RAG를 실제 업무에 투입할 수 있다.