레이트 리밋 (Rate Limit)

AI 용어

일정 시간 동안 보낼 수 있는 요청 수와 토큰 양에 거는 API 사용 한도.

#API#한도#안정성

정의

API 제공자가 계정별로 분당 요청 수(RPM)와 분당 토큰 수(TPM) 등에 두는 한도. 넘으면 429 오류가 돌아오며, 보통 사용 실적과 결제 등급에 따라 한도가 올라간다.

병렬 호출·대량 처리·트래픽 급증이 있는 서비스를 설계할 때. 재시도 대기(지수 백오프)와 동시 실행 수 제한을 처음부터 넣는다.

429가 날 때 대기 없이 곧바로 재시도를 반복하는 것은 역효과다. 한도를 계속 소진해 장애가 길어진다.

API 호출 코드를 시킬 때 "429면 retry-after 헤더를 따르고 지수 백오프로 최대 5회 재시도, 동시 실행은 N개로 제한"이라고 명시한다. Claude Code 자체도 사용량 한도에 닿으면 작업이 멈추므로 긴 작업은 나눠 돌린다.

동시 50개 호출 → 429 다수 발생 → 동시 실행 8개 + 백오프 적용 → 오류 없이 완료.

이 LLM 호출 코드에 레이트 리밋 대응을 넣어줘. 동시 실행 {{N}}개 제한, 429 시 retry-after 우선·지수 백오프 재시도: {{코드}}

jt · via term-writer · 복사 0 · KO