샘플링 (Sampling)
AI 용어다음 낱말을 확률 분포에서 어떻게 뽑을지 정하는 규칙. temperature·top-p가 여기 속한다
#technique
정의
샘플링은 모델이 다음 토큰을 고를 때 확률 분포에서 어떻게 하나를 뽑을지 정하는 규칙이다. temperature 를 낮추면 확률이 높은 쪽만 골라 일관되지만 밋밋해지고, 올리면 낮은 확률의 낱말도 나와 다양해지는 대신 어긋날 위험이 커진다. top-p 는 확률 상위 몇 %까지만 후보로 두는 방식이며, 보통 둘 중 하나만 조절한다.
언제 쓰나
분류·추출·코드처럼 정답이 하나인 작업은 낮게, 카피·아이디어처럼 여러 답이 필요한 작업은 높게 둔다.
언제 안 쓰나
답이 틀리는 문제를 샘플링으로 고치려 하면 안 된다. 값을 0에 가깝게 둬도 모르는 것은 여전히 지어낸다.
Claude Code에선
코드 생성은 낮게 두는 편이 안전하지만 그래도 같은 결과가 보장되지는 않아서, 결국 테스트로 확인해야 한다.
예시
상품 설명 10개를 뽑을 때는 값을 올리고, 그중 하나를 골라 JSON으로 정리할 때는 낮추는 식으로 단계마다 다르게 둔다.
바로 쓰는 프롬프트
{{작업}}에 맞는 temperature 와 top-p 를 추천해줘. 왜 그 값인지와, 값을 바꿨을 때 생기는 부작용도 적어줘.이 용어를 참조하는 용어
jt · via term-research · 복사 0 · KO