[Tech Notes]

Temperature와 Top-p의 차이와 사용 기준

생성 파라미터를 운영 정책으로 다루기

Temperature와 Top-p는 LLM이 다음 단어를 선택하는 방식을 제어하는 값이다.

Temperature는 다음 단어 선택의 무작위성을 조절한다. Top-p는 확률이 높은 후보 중 어디까지 허용할지 범위를 정한다.

기업 환경에서는 창의성보다 일관성, 재현성, QA 가능성이 더 중요하다.

  • Temperature는 낮게, 보통 0.2~0.4 수준으로 사용한다.
  • Top-p는 제한적으로, 보통 0.8~0.9 수준으로 사용한다.
두 값은 그때그때 바꾸는 튜닝 옵션으로 두지 말고 운영 정책 값으로 관리해야 한다.