추론 (Inference)

추론은 모델을 학습시키는 과정(training)과 구분되는 개념으로, 이미 학습이 끝난 모델에 실제 입력을 넣어 답을 얻어내는 실행 단계를 가리킨다. 서비스 운영 비용의 대부분이 이 추론 단계에서 발생하기 때문에, 양자화·스페큘레이티브 디코딩·프롬프트 캐싱 같은 기법들이 이 비용과 속도를 줄이기 위해 만들어졌다.

서비스가 실제로 사용자 요청에 응답하는 모든 순간이 추론에 해당하며, 이 단계의 속도와 비용을 최적화해야 할 때 관련 기법들을 고려한다.

모델을 처음부터 학습시키거나 파인튜닝하는 단계를 논의할 때는 추론이 아니라 학습 관점에서 접근해야 한다.

직접 연결되진 않지만, Claude Code가 응답할 때마다 백엔드에서 일어나는 것이 바로 이 추론 단계이며, 체감하는 응답 속도가 여기서 결정된다.

서비스 운영 비용의 대부분은 모델을 한 번 학습시키는 비용보다, 매 요청마다 반복되는 추론 비용에서 발생한다.