清華大のAKV、AIエージェントのコスト27.7%削減

中国の清華大学と香港中文大学の研究チームは、AIエージェントが自らのKVキャッシュ（キー・バリューキャッシュ）の一部を直接削除し、位置を詰め直せるようにするサービングエンジン「AKV」をオープンソースで公開した。2026年10月20日にarXivへ投稿した論文で、従来の「しきい値による要約」方式と比べて平均コストを27.7%削減し、平均スコアを1.7ポイント高めたと報告している。米AI専門メディアのMarkTechPostが26日に取り上げた。

ポイント

• AKVは「ドロップ（drop）」と「リポス（repos）」の2つのキャッシュ操作を備え、履歴全体を再計算せずに古いツール応答を参照対象から外せる。
• 3モデル・4種のエージェント評価で、直近12件のツール応答だけを残すポリシーが平均コストを27.7%下げ、平均スコアを1.7ポイント上げた。
• コードはApache 2.0ライセンスでGitHubに公開され、推論基盤SGLang上でOpenAI互換APIとして動く。

エージェントのコストはなぜキャッシュで膨らむのか

長時間動くエージェントは、ステップごとに増え続ける観察と行動の記録を毎回読み直す。論文の分析では、KVキャッシュの読み出しがAPIコスト全体の82.4%を占めた。

これまでは古いやり取りを削ったり要約したりする「コンテキストエンジニアリング」が主流だった。だが会話の冒頭を書き換えると、その上に積み上がったキャッシュが無効になり、サーバーは計算をやり直さなければならない。研究チームはエージェントがキャッシュそのものを編集する手法を「キャッシュエンジニアリング」と名付けた。

ドロップとリポスの仕組み

ドロップは、選んだキャッシュ項目を以後のアテンション計算から外すが、位置情報はそのまま残す。リポスは残ったキーの位置エンコーディングを書き換え、隙間なく詰め直す。MarkTechPostは論文のアブレーション実験を引用し、リポスを加えるとGPT-OSS-120BのBrowseComp-Plus通過率が55%から62%に上がったと伝えている。

開発者は従来通り、状態を持たないOpenAI形式のリクエストを送ればよい。任意項目のdrop_messageとrepositionで削除対象と詰め直しのタイミングを指定すれば、キャッシュの再利用・削除・復元はAKVが担う。ポリシーはターン単位、トークン単位、モデル判断から選べる。

SWE-benchでスコア向上、コストは半分以下

研究チームはGPT-OSS-120B、MiniMax-M2.7、MiroThinker-1.7-Miniを、BrowseComp-Plus、GAIA-Text、SWE-bench Verified、xbench-DeepSearch-2510で評価した。SWE-bench VerifiedではGPT-OSS-120Bのスコアが40.0から43.2に上がり、タスク当たりの推定コストは20.0セントから9.7セントに下がった。

サービング性能も改善した。エヌビディアのA800-80GB GPU 8基の環境で、出力スループットは1.18倍、入力スループットは1.53倍となり、P95リクエスト遅延は1.51倍速くなった。同時リクエスト16件の条件では、P95遅延が229.90秒から30.63秒に縮んだ。

モデル自身にキャッシュポリシーを改良させたところ、専門家が設計したポリシーよりさらに7.1%コストが下がったという。論文中のコストは公開料金で換算した推定値で、実際の請求額ではない。

背景：エージェントのコストは運用設計次第

今回の研究は、エージェントのコストがモデルそのものより、コンテキストの扱い方に大きく左右されるという見方を裏付ける。ただし適用範囲はまだ狭い。ドロップとリポスが対応するのはQwen、GPT-OSS、MiniMax-M2系のテキストモデルのみで、MarkTechPostによればエヌビディア製GPUが必要で、CPUやアップルのMLXでは動かない。

今後の見通し

AKVは標準的なChat Completionsインターフェースを維持しているため、すでにSGLangでオープンウェイトモデルを運用しているチームは、エージェントのコードを書き換えずに試せる。削減効果が研究チームの評価環境の外でも再現されるかは、第三者による検証が待たれる。

よくある質問

KVキャッシュエンジニアリングとは何か

会話のテキストを書き換える代わりに、エージェントがモデルのKVキャッシュの項目を直接削除したり位置を移したりする手法である。古い文脈を整理するたびにキャッシュを再計算する負担を避けられる。

AKVは無料で使えるのか

使える。Apache 2.0ライセンスでGitHubに公開されている。モデルの重みは含まず、サービングシステムとポリシーライブラリで構成される。

対応モデルは

プロジェクトの説明書によると、Qwen系、GPT-OSS、MiniMax-M2系のテキストモデルである。

参考資料

• Cache Engineering for Agents — arXiv、Tianyu Fuほか（2026年10月20日）
• thu-nics/AKV — GitHub
• Tsinghua AI Open-Sources AKV, a Cache Engineering Server for LLM Agents on SGLang — MarkTechPost（2026年10月26日）