Vector DB와 Top-k 검색의 의미

Vector DB는 문서를 저장하는 곳이 아니라 문서의 의미를 수치화한 벡터를 저장하는 저장소다.

질문이 들어오면 같은 방식으로 벡터로 변환한 뒤 가장 가까운 벡터들을 검색한다. 여기서 Top-k는 가까운 벡터를 몇 개까지 가져올 것인가를 의미한다.

• Top-k가 크면 정확도는 올라가지만 비용과 latency가 증가한다.
• Top-k가 작으면 빠르지만 중요한 정보를 놓칠 수 있다.

그래서 기업 환경에서는 보통 3~5 수준에서 타협점을 찾는다.