벡터 DB에는 문서 원문 대신 문서의 의미를 수치화한 벡터가 저장된다.
질문이 들어오면 같은 방식으로 벡터로 변환하고 가장 가까운 벡터를 검색한다. Top-k는 이때 가까운 벡터를 몇 개까지 가져올지 정하는 값이다.
- Top-k가 크면 정확도는 올라가지만 비용과 응답 시간이 늘어난다.
- Top-k가 작으면 빠르지만 중요한 정보를 놓칠 수 있다.
그래서 기업 환경에서는 보통 3~5 수준에서 타협점을 찾는다.
검색 정확도와 응답 속도 사이의 기본 변수
벡터 DB에는 문서 원문 대신 문서의 의미를 수치화한 벡터가 저장된다.
질문이 들어오면 같은 방식으로 벡터로 변환하고 가장 가까운 벡터를 검색한다. Top-k는 이때 가까운 벡터를 몇 개까지 가져올지 정하는 값이다.
그래서 기업 환경에서는 보통 3~5 수준에서 타협점을 찾는다.