Temperature와 Top-p는 LLM이 다음 단어를 선택하는 방식을 제어하는 값이다.
Temperature는 다음 단어 선택의 랜덤성을 조절하고, Top-p는 확률이 높은 후보들 중 어디까지 허용할지의 범위를 정한다.
기업 환경에서는 창의성보다 일관성, 재현성, QA 가능성이 더 중요하다.
- Temperature는 낮게, 보통 0.2~0.4 수준으로 사용한다.
- Top-p는 제한적으로, 보통 0.8~0.9 수준으로 사용한다.
이 값들은 튜닝 옵션이 아니라 운영 정책 값으로 취급해야 한다.