프롬프트 캐싱 (Prompt Caching)
AI 용어반복되는 프롬프트 앞부분을 캐시해 비용·지연을 크게 줄이는 기법.
#비용#캐싱#API
정의
요청의 접두(prefix)를 캐시해 두고, 같은 접두로 다시 요청하면 그 부분을 ~0.1배 가격에 재사용하는 기능. 프리픽스 매칭이라 앞부분 한 바이트만 바뀌어도 캐시가 깨진다.
언제 쓰나
큰 시스템 프롬프트·문서·few-shot을 여러 요청에서 공유할 때. 멀티턴 대화.
언제 안 쓰나
매 요청 앞부분이 매번 달라지는 경우(타임스탬프·UUID를 앞에 넣으면 무의미).
Claude Code에선
시스템 프롬프트를 고정(frozen)으로 두고 동적 값은 뒤로 미뤄야 캐시가 산다.
예시
50KB 문서를 시스템에 넣고 질문만 바꾸면, 2회차부터 문서 토큰이 ~90% 저렴.
바로 쓰는 프롬프트
이 프롬프트에서 캐시를 깨는 요소(매 요청 바뀌는 값)를 찾아 뒤로 옮겨줘: {{프롬프트}}jt · via term-writer · 복사 0 · KO