Temperature와 Top-p, 그리고 안정적인 응답

LLM 관련 설정을 보다 보면 빠지지 않고 등장하는 값이 있다. temperature와 top-p다.

대부분의 설명은 “temperature를 높이면 창의적이다.”에서 끝난다. 하지만 기업용 AI Agent에서 중요한 질문은 따로 있다.

“이 시스템은 얼마나 예측 가능한가?”

기업용 AI의 목표는 놀라움이 아니다

개인용 AI에서는 색다른 표현과 다양한 답변이 장점이 된다. 하지만 기업 환경에서는 답변이 매번 달라지고 표현이 흔들리면 바로 불신으로 이어진다.

Temperature는 무엇을 조절하는가

Temperature는 LLM이 다음 단어를 선택할 때의 랜덤성을 조절한다.

• 낮을수록 항상 비슷한 답을 만든다.
• 높을수록 표현은 다양해지지만 결과는 불안정해진다.

기업용 시스템에서는 보통 0.2~0.4 수준을 사용하는 경우가 많다. 정답이 하나에 가까운 문제를 다루는 경우가 많기 때문이다.

Top-p는 후보 범위를 제한한다

Top-p는 확률이 높은 단어 중 어디까지 허용할 것인가를 정한다.

• top-p가 낮으면 더 보수적으로 답한다.
• top-p가 높으면 더 자유로운 표현을 허용한다.

Temperature와 달리 top-p는 이상한 단어가 튀어나오는 것을 막는 역할을 한다. 실무에서는 temperature는 낮게, top-p는 0.8~0.9 정도로 조합하는 경우가 많다.

두 값을 함께 봐야 하는 이유

Temperature와 top-p는 각각 따로 보면 이해가 어렵다.

• temperature는 얼마나 흔들릴 것인가를 조절한다.
• top-p는 어디까지 허용할 것인가를 조절한다.

기업용 AI에서는 창의성보다 일관성과 재현성이 훨씬 중요하다.

파라미터는 조절값이 아니라 정책이다

이 값을 무작위로 바꾸면 QA가 깨지고 운영 결과가 예측되지 않는다. 그래서 보통 서비스 단위로 고정하고, 변경 시에는 명확한 이유를 둔다.

Generation parameter는 개발자의 취향이 아니라 시스템 정책의 일부다.

정리하며

기업용 AI Agent에서 좋은 응답이란 항상 비슷한 기준으로 나오고, 왜 그렇게 나왔는지 설명 가능하며, 예측 가능한 비용과 속도를 가지는 응답이다.

이를 가능하게 만드는 것이 temperature와 top-p 같은 작아 보이지만 중요한 제어 값들이다.