템퍼러처 (Temperature)

AI 용어

모델 출력의 무작위성을 조절하는 값으로, 낮으면 일관되고 높으면 다양해진다.

#샘플링#API#기본기

정의

다음 토큰을 고를 때 확률 분포를 얼마나 뾰족하게 또는 평평하게 만들지 정하는 샘플링 값. 0에 가까우면 확률이 가장 높은 토큰 위주로 골라 답이 일관되고, 높이면 낮은 확률의 토큰도 뽑혀 표현이 다양해진다.

분류·추출·코드처럼 답이 하나여야 하면 낮게, 카피·브레인스토밍처럼 여러 안이 필요하면 높게 둔다.

환각을 없애려고 0으로 두는 것. 일관성만 높아질 뿐 틀린 답을 매번 똑같이 낼 수 있다. 일부 추론 모델은 이 값을 조정할 수 없게 막아 둔다.

LLM 호출 코드를 시킬 때 temperature를 말하지 않으면 기본값이 들어간다. "분류 호출은 0, 문구 생성 호출은 0.8로 분리해줘"처럼 호출별로 지정한다.

같은 프롬프트를 temperature 0으로 5번 → 거의 같은 답, 1.0으로 5번 → 표현이 제각각.

{{작업}}에 맞는 temperature 값을 추천하고, 그 값에서 생길 수 있는 문제와 확인 방법을 알려줘.