모델 라우터 (Model Router)

사용자의 질문이 얼마나 복잡한지 먼저 판단해, 간단한 질문은 빠르고 저렴한 모델로, 복잡한 질문은 추론 모델로 자동 배정하는 시스템이다. OpenAI GPT-5가 빠른 모델과 GPT-5 thinking 모델을 라우터로 연결한 구조가 대표 사례로, 이전 추론 모델 대비 출력 토큰을 절반 이하로 줄이면서도 비슷한 성능을 냈다고 보고됐다.

다양한 난이도의 질문이 섞여 들어오는 서비스에서 비용과 응답 속도를 함께 최적화하고 싶을 때 유용하다.

모든 요청이 항상 복잡하거나 항상 단순하다면 라우팅 없이 고정된 모델 하나를 쓰는 게 더 단순하고 예측 가능하다.

사용자가 어떤 모델이 답했는지 신경 쓰지 않아도 되는 경험은 모델 라우터와 같은 발상이며, 작업 성격에 맞춰 다른 모델을 선택해 쓰는 것도 비슷한 접근이다.

GPT-5는 빠른 모델, GPT-5 thinking 모델, 그리고 이 둘을 연결하는 라우터로 구성돼 있다.