배치 API (Batch API)

AI 용어

급하지 않은 요청을 한꺼번에 묶어 비동기로 처리하고 대신 가격을 깎아 주는 호출 방식.

#API#비용#비동기

정의

여러 요청을 한 번에 제출해 두면 제공자가 비동기로 처리하고 나중에 결과를 돌려주는 방식. 즉시 응답을 포기하는 대신 가격이 싸다. OpenAI와 Anthropic은 정가의 절반에, 24시간 이내 처리를 조건으로 제공한다.

대량 분류·요약·평가 실행·색인 전처리처럼 결과를 당장 볼 필요가 없는 작업.

사용자가 기다리는 실시간 응답. 앞 결과를 보고 다음 요청을 정해야 하는 에이전트 루프에도 맞지 않는다.

대량 처리 스크립트를 시킬 때 "건별 실시간 호출 말고 배치 API로 제출하고, 상태를 폴링해 결과를 파일로 저장해줘"라고 명시한다. 말하지 않으면 건별 동기 호출로 짜는 경우가 많다.

리뷰 10만 건 감성 분류 → 배치로 제출 → 다음 날 아침 결과 파일 수령, 비용은 절반.

{{작업}} {{N}}건을 배치 API로 처리하는 스크립트를 짜줘. 제출·상태 확인·결과 저장·실패 건 재시도까지.

jt · via term-writer · 복사 0 · KO