칭화대 AKV, AI 에이전트 비용 27.7% 줄였다

중국 칭화대와 홍콩중문대 연구진이 AI 에이전트가 자신의 KV 캐시(키-값 캐시) 일부를 직접 지우고 위치를 다시 정렬하게 하는 서빙 엔진 'AKV'를 오픈소스로 공개했다. 연구진은 10월 20일 아카이브(arXiv)에 올린 논문에서 기존 '임계치 요약' 방식보다 평균 비용을 27.7% 줄이고 평균 점수를 1.7점 높였다고 밝혔다. 미국 AI 전문 매체 마크테크포스트가 26일 이를 소개했다.

핵심 정리

• AKV는 '드롭(drop)'과 '리포스(repos)' 두 가지 캐시 연산으로, 에이전트가 오래된 도구 응답을 대화 전체 재계산 없이 걸러내게 한다.
• 모델 3종·에이전트 벤치마크 4종에서 최근 도구 응답 12개만 남기는 정책이 평균 비용을 27.7% 줄이고 평균 점수를 1.7점 올렸다.
• 코드는 아파치 2.0 라이선스로 깃허브에 공개됐으며, 서빙 프레임워크 SGLang 위에서 오픈AI 호환 API로 동작한다.

AI 에이전트 비용, 왜 캐시에서 새나

오래 작업하는 에이전트는 단계마다 늘어나는 관찰·행동 기록을 매번 다시 읽는다. 논문 분석에서 KV 캐시 읽기는 전체 API 비용의 82.4%를 차지했다.

지금까지는 오래된 대화를 잘라내거나 요약하는 '컨텍스트 엔지니어링'이 일반적이었다. 하지만 대화 앞부분을 고치면 그 위에 쌓인 캐시가 무효가 돼 서버가 처음부터 다시 계산해야 한다. 연구진의 대안이 '캐시 엔지니어링'이다.

드롭·리포스는 어떻게 작동하나

드롭은 선택한 캐시 항목을 이후 어텐션 계산에서 빼되 위치 정보는 그대로 둔다. 리포스는 남은 키의 위치 인코딩을 다시 써서 빈틈없이 붙인다. 마크테크포스트는 논문의 절제 실험을 인용해, 리포스를 더하자 GPT-OSS-120B의 BrowseComp-Plus 통과율이 55%에서 62%로 올랐다고 전했다.

개발자는 기존처럼 상태 없는 오픈AI 방식 요청을 보내면 된다. 선택 항목인 drop_message와 reposition으로 무엇을 지우고 언제 정렬할지 지정하면, 캐시 재사용·삭제·복원은 AKV가 처리한다.

SWE-bench 점수 오르고 비용은 절반

연구진은 GPT-OSS-120B, 미니맥스 M2.7, 미로싱커 1.7 미니를 BrowseComp-Plus, GAIA-Text, SWE-bench Verified, xbench-DeepSearch-2510으로 시험했다. SWE-bench Verified에서 GPT-OSS-120B 점수는 40.0점에서 43.2점으로 올랐고, 과제당 추정 비용은 20.0센트에서 9.7센트로 내려갔다.

서빙 성능도 나아졌다. 엔비디아 A800-80GB GPU 8장 환경에서 출력 처리량은 1.18배, 입력 처리량은 1.53배였고, P95 요청 지연은 1.51배 빨라졌다. 동시 요청 16건 조건에서 P95 지연은 229.90초에서 30.63초로 줄었다.

모델이 캐시 정책을 스스로 개선하게 하자 전문가가 설계한 정책보다 비용이 7.1% 더 줄었다고 연구진은 밝혔다. 논문 속 비용은 공개 요금표로 환산한 추정치로, 실제 청구 금액은 아니다.

맥락: 에이전트 비용은 모델보다 운영 방식

이번 연구는 에이전트 비용이 모델 자체보다 컨텍스트를 다루는 방식에 크게 좌우된다는 흐름에 힘을 싣는다. 다만 적용 범위는 아직 좁다. 드롭과 리포스는 큐원(Qwen), GPT-OSS, 미니맥스 M2 계열 텍스트 모델만 지원하며, 마크테크포스트는 엔비디아 GPU가 필요하고 CPU나 애플 MLX 경로는 없다고 전했다.

전망

AKV는 표준 채팅 완성(Chat Completions) 인터페이스를 유지하므로, 이미 SGLang으로 오픈 가중치 모델을 운영하는 팀은 에이전트 코드를 고치지 않고 시험해 볼 수 있다. 절감 효과가 연구진 벤치마크 밖에서도 유지될지는 외부 재현으로 확인해야 한다.

자주 묻는 질문

KV 캐시 엔지니어링이란 무엇인가

대화 텍스트를 고치는 대신 에이전트가 모델의 키-값 캐시 항목을 직접 지우거나 위치를 옮기는 방식이다. 캐시 재계산 부담을 피할 수 있다.

AKV는 무료로 쓸 수 있나

그렇다. 아파치 2.0 라이선스로 깃허브에 공개됐다. 모델 가중치는 없고 서빙 시스템과 정책 라이브러리만 담겼다.

참고 자료

• Cache Engineering for Agents — arXiv, Tianyu Fu 외(2026년 10월 20일)
• thu-nics/AKV — GitHub
• Tsinghua AI Open-Sources AKV, a Cache Engineering Server for LLM Agents on SGLang — MarkTechPost(2026년 10월 26일)