OpenAI가 10월 20일(현지시간) Responses API에 프롬프트 캐시를 최소 12시간 유지하는 옵션을 추가했다. 기존 기본값인 30분보다 24배 긴 보관 기간으로, 하루 종일 켜져 있으면서 몇 시간 간격으로 요청을 보내는 상시형 에이전트의 입력 비용을 줄이려는 조치다.
핵심 정리
- OpenAI는 GPT-5.6 이후 모델에서 prompt_cache_options.ttl 값을 "12h"로 지정하면 캐시를 최소 12시간 유지하도록 했다.
- 12시간 캐시의 쓰기 요금은 일반 입력 단가의 2.5배로, 30분 캐시(1.25배)의 두 배다.
- 캐시 읽기는 보관 기간과 관계없이 입력 단가의 0.1배이며, GPT-6.1 Sol은 0.05배가 적용된다.
OpenAI 12시간 프롬프트 캐싱은 어떻게 쓰나
OpenAI 12시간 프롬프트 캐싱은 Responses API 요청의 prompt_cache_options.ttl을 "12h"로 바꾸면 적용된다. OpenAI API 변경 기록은 10월 20일 항목에서 공유 지침과 도구, 맥락을 더 오래 캐시해 몇 시간 떨어진 요청도 낮은 캐시 입력 단가를 받을 수 있다고 설명했다. 기본값은 "30m"이고, 지원하지 않는 값을 넣으면 400 오류가 난다.
캐싱 대상은 요청 앞부분이 완전히 같은 접두부(prefix)다. 프롬프트 캐싱 가이드에 따르면 GPT-5.6 이후 모델은 1,024토큰 이상인 접두부부터 캐시하고, 한 요청에서 최대 4번까지 캐시를 쓸 수 있다. 중단점(breakpoint)마다 보관 기간을 따로 정할 수 있어 시스템 지침과 도구 정의는 12시간, 대화 기록은 30분으로 나누는 구성이 가능하다.
12시간은 삭제 시한이 아니라 최소 보관 기간이다. 가이드는 OpenAI가 이보다 오래 보관할 수 있다고 밝히면서도, 보관 기간이 길다고 모든 요청이 캐시를 맞히는 것은 아니라고 덧붙였다. GPT-5.5 등 이전 모델은 기존 prompt_cache_retention 설정("in_memory", "24h")을 그대로 쓰며 12시간 옵션은 적용되지 않는다.
12시간 캐시 요금은 모델별로 얼마인가
OpenAI 가격 페이지 기준 12시간 캐시 쓰기 단가는 모든 모델에서 일반 입력 단가의 2.5배로 책정됐다. 주요 모델의 100만 토큰당 표준 요금은 다음과 같다.
| 모델 | 입력 | 캐시 읽기 | 30분 캐시 쓰기 | 12시간 캐시 쓰기 |
|---|---|---|---|---|
| GPT-6.1 Sol | 2.00달러 | 0.10달러 | 2.50달러 | 5.00달러 |
| GPT-6 Luna | 0.10달러 | 0.01달러 | 0.125달러 | 0.25달러 |
| GPT-6 Astra | 10.00달러 | 1.00달러 | 12.50달러 | 25.00달러 |
쓰기 요금은 입력 요금에 얹는 추가금이 아니라 해당 토큰 전체에 매기는 단가다. 자세한 단가는 OpenAI API 가격 페이지에서 확인할 수 있다.
개발자에게 언제 이득인가
공개된 배수로 계산하면 12시간 캐시는 같은 접두부를 두 번 이상 다시 읽어야 캐시를 쓰지 않을 때보다 싸진다. 쓰기 1회(2.5배)와 읽기 1회(0.1배)는 2.6배로 무캐시 2회(2배)보다 비싸지만, 읽기가 2회가 되면 2.7배 대 3배로 역전된다. 요청 간격이 30분을 넘어 30분 캐시가 매번 만료되는 경우와 비교해도 손익분기점은 재사용 2회다.
예를 들어 GPT-6.1 Sol에 10만 토큰짜리 고정 지침을 붙여 12시간 동안 1시간마다 12번 호출하면, 캐시를 쓰지 않을 때 접두부 비용은 2.40달러다. 12시간 캐시로 처음 한 번 쓰고 11번 읽으면 0.61달러로 약 75% 줄어든다. 매번 만료되는 30분 캐시는 쓰기만 12번 반복해 3.00달러가 된다. 접두부가 매번 정확히 일치하고 캐시가 적중한다고 가정한 계산이다.
상시형 에이전트 경쟁과 맥락
OpenAI 개발자 공식 X 계정은 발표 글에서 Dots 같은 상시형 에이전트가 하루 내내 맥락을 재사용한다며 이번 옵션의 쓰임새를 설명했다. 예약 작업이나 도구 콜백처럼 띄엄띄엄 들어오는 이벤트를 처리하는 AI 에이전트는 그동안 30분 창을 넘기면 긴 지침을 다시 써야 했다. OpenAI는 앞서 GPT-6.1 Sol의 캐시 입력 단가를 100만 토큰당 0.10달러로 내린 바 있어, 캐시 적중률이 실제 비용을 가르는 비중은 더 커졌다.
전망
모델 성능 격차가 좁아지면서 장시간 실행 에이전트의 운영비가 API 선택 기준으로 떠오르고 있다. 다만 모델, 도구 정의, 추론 강도, 출력 형식이 바뀌면 접두부가 달라져 캐시가 깨지므로, 개발자는 고정 내용을 앞에 두고 바뀌는 내용을 뒤에 붙이는 구조를 먼저 갖춰야 효과를 볼 수 있다.
자주 묻는 질문
OpenAI 12시간 프롬프트 캐시는 어떤 모델에서 쓸 수 있나?
GPT-5.6 이후 모델의 Responses API에서 쓸 수 있다. prompt_cache_options.ttl을 "12h"로 지정하면 된다. GPT-5.5 등 이전 모델은 기존 prompt_cache_retention 설정을 따른다.
12시간 캐시를 켜면 무조건 비용이 줄어드나?
그렇지 않다. 쓰기 단가가 입력 단가의 2.5배라서 같은 접두부를 두 번 이상 재사용해야 이득이 난다. 접두부가 조금이라도 바뀌면 캐시를 맞히지 못한다.
캐시가 12시간 뒤 바로 삭제되나?
12시간은 최소 보관 기간이며 삭제 시한이 아니다. OpenAI는 이보다 오래 보관할 수 있다고 밝혔다. 다만 보관 중이어도 모든 요청의 캐시 적중을 보장하지는 않는다.
