Context Window는 LLM이 한 번의 요청에서 기억할 수 있는 텍스트의 최대 길이다.
이 범위 안에는 system prompt, user prompt, RAG로 검색된 문서, 이전 대화 내용이 모두 포함된다.
Context Window를 초과하면 모델은 오래된 정보를 잘라내거나 일부 문서를 무시한다. 이로 인해 답변 품질이 갑자기 흔들리는 문제가 발생한다.
그래서 RAG 설계에서 중요한 질문은 얼마나 많은 문서를 넣을 수 있느냐가 아니라 지금 이 질문에 꼭 필요한 정보는 무엇인가다.
Context Window는 정보를 쌓는 공간이 아니라 선별하는 공간이다.