컨텍스트 윈도(Context Window)는 LLM이 한 번의 요청에서 기억할 수 있는 텍스트의 최대 길이다.
이 범위에는 시스템 프롬프트, 사용자 프롬프트, RAG로 검색한 문서, 이전 대화 내용이 모두 포함된다.
컨텍스트 윈도를 초과하면 모델은 오래된 정보를 잘라내거나 일부 문서를 무시한다. 그 결과 답변 품질이 갑자기 흔들린다.
그래서 RAG 설계에서는 문서를 얼마나 많이 담을 수 있는지보다 지금 이 질문에 꼭 필요한 정보가 무엇인지를 먼저 따진다.
컨텍스트 윈도는 정보를 쌓는 공간이 아니라 선별하는 공간이다.