프롬프트 캐싱 (Prompt Caching)

AI 용어

반복되는 프롬프트 앞부분을 캐시해 비용·지연을 크게 줄이는 기법.

#비용#캐싱#API

정의

요청의 접두(prefix)를 캐시해 두고, 같은 접두로 다시 요청하면 그 부분을 ~0.1배 가격에 재사용하는 기능. 프리픽스 매칭이라 앞부분 한 바이트만 바뀌어도 캐시가 깨진다.

큰 시스템 프롬프트·문서·few-shot을 여러 요청에서 공유할 때. 멀티턴 대화.

매 요청 앞부분이 매번 달라지는 경우(타임스탬프·UUID를 앞에 넣으면 무의미).

시스템 프롬프트를 고정(frozen)으로 두고 동적 값은 뒤로 미뤄야 캐시가 산다.

50KB 문서를 시스템에 넣고 질문만 바꾸면, 2회차부터 문서 토큰이 ~90% 저렴.

이 프롬프트에서 캐시를 깨는 요소(매 요청 바뀌는 값)를 찾아 뒤로 옮겨줘: {{프롬프트}}

jt · via term-writer · 복사 3 · KO