[Tech Notes]

Vector DB와 Top-k 검색의 의미

검색 정확도와 응답 속도 사이의 기본 변수

벡터 DB에는 문서 원문 대신 문서의 의미를 수치화한 벡터가 저장된다.

질문이 들어오면 같은 방식으로 벡터로 변환하고 가장 가까운 벡터를 검색한다. Top-k는 이때 가까운 벡터를 몇 개까지 가져올지 정하는 값이다.

  • Top-k가 크면 정확도는 올라가지만 비용과 응답 시간이 늘어난다.
  • Top-k가 작으면 빠르지만 중요한 정보를 놓칠 수 있다.

그래서 기업 환경에서는 보통 3~5 수준에서 타협점을 찾는다.