🇺🇸 English 🇰🇷 한국어 🇯🇵 日本語
ホーム › AI & 機械学習
AI & 機械学習

AIエージェントの記憶汚染、最大71%の実行で後続に波及

マイクロソフトとレンセラー工科大学の研究チームは11月6日、MemoryDojoを公開した。ツール結果1件の悪意ある指示が後続セッションの行動を変えた割合は最大70.97%で、検証した5種すべてが影響を受けた。

マイクロソフトと米レンセラー工科大学の研究チームは11月6日、AIエージェントの記憶を標的とする攻撃のベンチマーク「MemoryDojo」をarXivで公開した。ツール結果1件に混入させた悪意ある指示が、後続の無関係なセッションでエージェントの行動を変えた割合は最大71%に達した。オープンソースのメモリシステム5種を検証し、攻撃を免れたものはなかった。

どくろマークが付いた茶色のガラス瓶
毒物を示す表示が付いた瓶(資料写真)。AIエージェントのメモリ汚染のイメージ。 사진: ˙Cаvin 〄 / Flickr(CC BY 2.0)

要点

  • A-MEM、Graphiti、Letta、Mem0、Memoraの5種すべてで、汚染された指示が後続タスクに影響した。
  • メモリの設計に合わせて攻撃文を調整すると、影響を受けた後続タスクの割合は約2〜31ポイント上昇した。
  • 無害な会話履歴が大量にあると攻撃は弱まり、タスク単位の成功率は5.32%以下に低下したが、Memoraでは実行の45.16%でなお影響が残った。

エージェントのメモリ汚染とは

エージェントは、元の文脈が消えた後も事実や好みを次のセッションに引き継ぐためにメモリを使う。この機能が、一度きりのプロンプトインジェクションを持続的な行動に変えてしまう場合がある。研究チームは、請求書を特定の宛先に転送するのが利用者の希望だと偽るメールを例に挙げた。メモリがなければ漏えいは請求書1件で済むが、メモリがあれば以後すべての請求書に同じルールが適用されかねない。

ベンチマークで攻撃者が操作できるのは、外部ツール呼び出し1回の返答内容だけである。システムプロンプトや利用者の依頼、メモリのソフトウェアには手を加えず、悪意ある指示の挿入も1回に限る。

メモリシステム別の検証結果

MemoryDojoは、AgentDojoのタスクをもとに業務、旅行、銀行、Slackの4領域にわたる複数セッションのシナリオ155本で構成される。主要な実験のエージェントはOpenAIのGPT-5.6 Lunaである。下表は同一領域の93シナリオの結果である。

後続セッションで汚染が行動を変えた実行の割合、同一領域の実験(MemoryDojo、2026年11月6日)
メモリシステム未調整の攻撃文最適化した攻撃文
A-MEM45.70%70.97%
Memora38.71%66.67%
Letta16.67%50.54%
Mem014.52%39.78%
Graphiti24.73%30.11%

保存の段階ではほとんど防げなかった。未調整の攻撃文は4システムで実行の約98〜99%がメモリに書き込まれ、LLMで事実を抽出するMem0だけが60.75%だった。差が開いたのは検索である。A-MEMとMemoraでは後続タスクの80%超で汚染内容が呼び出されたが、Graphitiは33.43%にとどまった。

呼び出されても直ちに被害につながるわけではない。4システムでは、検索のおよそ4件に1件だけが攻撃者の目的の実行に結び付いた。最適化はこの差を縮め、Lettaでは23.59%から64.06%に高まった。

攻撃が弱まる条件

メモリを無害な会話約50セッションで先に満たすと、すべてのシステムで検索率が低下した。Lettaはこの実験で後続タスクへの到達がゼロとなり、検索率は55.66%から7.94%に下がった。

実環境で広がるメモリ汚染

マイクロソフトのDefender研究チームは2月10日、「AIで要約」ボタンを通じて推奨内容を記憶に植え付けようとする試みを14業種31社で50種類以上確認したと公表した。パロアルトネットワークスのUnit 42は2025年10月、悪意あるウェブページでAmazon Bedrock Agentの長期記憶を汚染する概念実証を示した。アマゾンは自社のGuardrails機能が効果的に防御するとの立場を示している。

アンソロピックは先週、Claudeが「ドリーミング」で誤った記憶を修正する仕組みを公開した。

今後の見通し

今回の実験はサンドボックスのタスクと合成シナリオで行われたため、数値は実環境での被害規模を示すものではない。コードは未公開で、研究チームは公開する予定だとしている。メモリ防御策の体系的な評価は今後の課題とした。研究チームは、メモリ構造を「エージェントのセキュリティ評価の中核要素として扱うべきだ」と主張している。

よくある質問

AIエージェントのメモリ汚染とは何か

エージェントが読んだ文書やメッセージなど信頼できない内容が長期メモリに保存され、後のセッションの行動に影響を与える攻撃である。

開発者はどう備えるべきか

MemoryDojoは防御策を検証していない。Unit 42は、信頼できない入力をすべて攻撃の可能性があるものとして扱い、コンテンツのフィルタリング、アクセス制御、ログ記録、継続的な監視を組み合わせるよう勧めている。

参考資料

#MemoryDojo #メモリ汚染 #メモリポイズニング #AIエージェント #プロンプトインジェクション #マイクロソフト #AIセキュリティ #エージェントメモリ
チ
チョン・スン
AI Newsway · 開発者

AI Newswayの編集責任者です。AI、開発ツール、クラウド、生産性テクノロジーの記事を執筆しています。

この記者の他の記事 ›
著作権者 © AI Newsway 無断転載・再配布、AI学習・活用禁止
共有
f X K

コメント 0

現在コメントの投稿は無効になっています。

最初のコメントを書いてみましょう。