🇺🇸 English 🇰🇷 한국어 🇯🇵 日本語
ホーム › SaaS & Cloud
SaaS & Cloud

SageMaker、KVキャッシュ認識ルーティング 初回トークン最大97%短縮

AWSは11月17日、SageMaker AIのリアルタイムエンドポイントにKVキャッシュ認識ルーティングを追加した。Llama 3.1 70Bの検証では、ランダムルーティング比で最初のトークンまでの時間(中央値)が最大97%短縮し、スループットは最大234%向上した。追加料金はないが、vLLMベースのAWSコンテナが必要となる。

アマゾン・ウェブ・サービス(AWS)は11月17日(現地時間)、「Amazon SageMaker AI」のリアルタイムエンドポイントに「KVキャッシュ認識ルーティング」を追加した。大規模言語モデル(LLM)へのリクエストを、そのプロンプトを最も長くキャッシュしているインスタンスへ送る仕組みである。AWS機械学習ブログによると、Llama 3.1 70Bを使った検証で、最初のトークンが出るまでの時間(中央値)はランダムルーティング比で最大97%短縮した。

ラックに収められたGPUコンピューティングクラスターのサーバーとケーブル、表示ランプ
GPUサーバークラスター(資料写真) · 사진: ChrisDag / Flickr(CC BY 2.0)

要点

  • 新しいルーティング戦略「KV_AWARE」は、リクエスト文字列からの推測ではなく、モデルコンテナが報告する実際のキャッシュ状態を使う。
  • ml.p5.48xlarge 7台での検証では、ランダムルーティング比で最初のトークンまでの時間(中央値)が最大97%短縮し、スループットは最大234%向上した。
  • 追加料金はなく、SageMakerのリアルタイム推論に対応する全商用リージョンで使える。ただしvLLMベースのAWSコンテナが必要だ。

KVキャッシュ認識ルーティングの仕組み

LLMはプロンプトを処理する際、中間計算結果であるKVキャッシュをGPUメモリーに保存する。同じ冒頭部分が同じインスタンスに再び届けば、その計算を省ける。しかしインスタンスが複数あるとリクエストが分散し、キャッシュはあまり再利用されない。

KVキャッシュ認識ルーティングでは、モデルコンテナがキャッシュを保存・削除するたびにイベントを発行する。SageMakerはこれをマネージドのインデックスとして保持する。AWSによれば、インデックスにはインスタンスに対応付けた一方向・切り詰めのハッシュだけが入り、プロンプトやトークンID、リクエスト本文、KVテンソルは保存しない。

リクエストが届くと、エンドポイントはプロンプトをトークン化してインデックスを照会し、各インスタンスのキャッシュ一致の長さと混雑度を比べて送り先を選ぶ。有効な一致がない場合や候補がすべて混雑している場合は、負荷ベースのルーティングに切り替わる。

プレフィックス認識ルーティングとの違い

AWSは9月、リクエスト先頭のバイト列をハッシュ化して同じインスタンスへ送る「プレフィックス認識ルーティング」を導入した。この方式はメモリー不足でキャッシュが消えたことを把握できず、会話序盤の短いリクエストを別のインスタンスへ散らしてしまうことがある。

KVキャッシュ認識ルーティングは実際にキャッシュされたトークン単位で照合するため、プレフィックス長の調整が要らない。その代わり負荷は増える。プレフィックス方式は1リクエストあたり1.3〜1.9ミリ秒だったが、新方式は短いプロンプトで数ミリ秒、長いプロンプトではそれ以上かかり、大半はトークン化の時間だという。SageMakerのルーティング戦略はRANDOM、LEAST_OUTSTANDING_REQUESTS、PREFIX_AWARE、KV_AWAREの4種類となった。

SageMakerの検証結果

AWSは20人または100人の模擬ユーザーが複数ターンの対話や文書の質疑応答を行う30分間のテストを実施した。プロンプトは最大約6万4000トークンである。KVキャッシュのヒット率は、ランダムルーティングの3〜48%から80〜93%に上がった。

ml.g5.xlarge 2台でQwen3-4B-Instruct-2507を使った小規模テストでは、平均モデル遅延が2回の実行で4124ミリ秒・5100ミリ秒から1235ミリ秒・1314ミリ秒に下がった。一方、SageMaker自体のオーバーヘッドは平均14〜19ミリ秒増えた。いずれもAWS自身による検証であり、AWSも結果はワークロード次第としている。

条件と制約

提供開始時点では、AWSのvLLM深層学習コンテナ(vLLM 0.33.0以降)と、OpenAI互換のCompletions・Chat Completions形式のリクエストのみに対応する。インスタンス2台以上、または推論コンポーネントのコピー2つ以上が必要だ。双方向ストリーミングは非対応で、cache_saltに値を持つリクエストは400エラーで拒否される。

今後の見通し

利用者はモデルに環境変数SM_VLLM_KV_EVENTS_CONFIGを追加し、エンドポイント設定でRoutingStrategyをKV_AWAREにすれば使える。AWSは自社のトラフィックでプレフィックス認識ルーティングと比較し、性能が同程度ならより単純なプレフィックス方式を選ぶよう勧めている。

よくある質問

追加費用はかかるのか。
かからない。AWSは追加料金はなく、エンドポイントのインスタンス費用のみとしている。

インスタンス1台でも効果はあるのか。
ない。インスタンスが1台ならすべてのリクエストがそこへ送られるため、設定しても変わらない。

会話の最初のリクエストも速くなるのか。
速くならない。新しい内容を含む最初のリクエストにはキャッシュがなく、効果が出るのは後続のリクエストからだ。

参考資料

#AWS #Amazon SageMaker #KVキャッシュ #KVキャッシュ認識ルーティング #プレフィックス認識ルーティング #LLM推論 #vLLM #レイテンシー #クラウド
チ
チョン・スン
AI Newsway · 開発者

AI Newswayの編集責任者です。AI、開発ツール、クラウド、生産性テクノロジーの記事を執筆しています。

この記者の他の記事 ›
著作権者 © AI Newsway 無断転載・再配布、AI学習・活用禁止
共有
f X K

コメント 0

現在コメントの投稿は無効になっています。

最初のコメントを書いてみましょう。