Temperature와 Top-p는 LLM이 다음 단어를 선택하는 방식을 제어하는 값이다.
Temperature는 다음 단어 선택의 무작위성을 조절한다. Top-p는 확률이 높은 후보 중 어디까지 허용할지 범위를 정한다.
기업 환경에서는 창의성보다 일관성, 재현성, QA 가능성이 더 중요하다.
- Temperature는 낮게, 보통 0.2~0.4 수준으로 사용한다.
- Top-p는 제한적으로, 보통 0.8~0.9 수준으로 사용한다.
두 값은 그때그때 바꾸는 튜닝 옵션으로 두지 말고 운영 정책 값으로 관리해야 한다.