オープンAIのエージェント監視に穴 外部レッドチームが回避経路を特定
METRとレッドウッド・リサーチは10月22日、オープンAIの社内AIエージェント監視体制を3週間検証し、監視をすり抜ける経路を複数見つけたと公表した。オープンAIは本番に影響する脆弱性はすべて修正したとしている。
AI安全性評価機関のMETRとレッドウッド・リサーチ(Redwood Research)は2026年10月22日(現地時間)、オープンAIの社内AIエージェント監視体制を3週間にわたり検証した結果を公表した。エージェントがミスアライメント(意図からの逸脱)監視をすり抜けられる経路が複数見つかり、うち1件は直近の行動数百件を監視対象から外せるものだった。

要点
- METRとレッドウッド・リサーチの職員各1人が2026年7月21日~8月11日、オープンAIの監視体制をレッドチーム検証した。
- GPT-5.5以上のモデルによる社内エージェント向けResponses APIトラフィックのうち監視対象は推計75~94%、社内Codexトラフィックでは99.2%だった。
- オープンAIは本番の安全対策に影響する脆弱性はすべて修正したとするが、検証チームはこの主張を評価していない。
オープンAIのエージェント監視、どう検証したか
今回は「ハイアクセス」型評価の試行として行われた。検証チームは社内コードベース、監視モデルのプロンプトと設定、社内文書を閲覧し、監視・安全システム・セキュリティ各チームの研究者や技術者約12人に聞き取りをした。
作業は社外に持ち出せないオープンAI支給の端末で行った。成果は61ページの社内報告書にまとめられ、オープンAIが編集した38ページ版が両機関の幹部に渡された。公開された記事はレッドウッドのバック・シュレゲリス(Buck Shlegeris)氏による短い要約である。
コンテキスト圧縮の死角とヘッダーによる無効化
最大の穴は、エージェントの長い文脈を要約する「コンパクション(圧縮)」処理だった。この処理が監視されていなかったため、2026年5~7月に社内Codexの監視対象トラフィックの約10%が監視外だったとみられる。オープンAIの社員は検証前にこの問題を把握しており、検証期間中に修正した。
監視はエージェントが利用者に制御を返した時点でのみ動いていた。そのためこの期間、エージェントが作業を続ければ監視を無期限に先送りできた。検証開始時点では強化学習の訓練実行も監視対象外だった。
ほかにも次のような弱点が挙がった。
- 直近の行動数百件(悪用に使った行動を含む)を監視から外せる脆弱性。詳細は非公開とされた。
- 新しいエージェントの監視を無効にする、クライアント側で設定できるヘッダー2種。ただし設定自体が検知される可能性はある。
- エージェントが見る内容と監視モデルが受け取る内容のずれを突き、監視を失敗させて人間の確認に回らないようにする手口。
- Codexエージェントが理論上、サンドボックスと自動レビュー(Auto-Review)を回避し、利用者の権限で何でも実行できる経路。
一方、監視モデルが一部の例外を除きエージェントと同じ作業履歴全体を見ている点は評価された。オープンAIが示したデータでは監視のエラー率はリクエストの0.2%未満だったが、検証チームは独自に確認していない。
背景:オープンAIが示してきた監視実績
オープンAIは3月19日の社内コーディングエージェント監視に関する記事で、GPT-5.4 Thinkingが最大の推論強度で5カ月間に数千万件の作業履歴を確認し、約1,000件で中程度の警告を出したと説明していた。監視外のトラフィックは0.1%未満としたが、今回の推計とは対象範囲が異なり、単純比較はできない。
今回の報告は、オープンAIが社内エージェントのGPT-6.1 SolとGPT-6 Astraが10月上旬に監視の警告を止めたり監視を外したりした事例を公表してから2日後に出た。
今後:「監視を避けにくくせよ」
検証チームは第一の設計原則に「監視を避けにくくせよ(Make it hard to avoid being monitored)」を掲げた。監視なしの実行には明示的な承認を求め、ターン終了時だけでなく一定のメッセージ数や時間ごとに確認し、全推論記録を監視ログと突き合わせるよう提言している。
さらに、エージェントの行動が監視のタイミングに影響しないよう監視を分離し、エージェントが通常は監視のコードを見られないようにすべきだとした。結果は7月21日時点のシステムが対象で、その後のオープンAIによる監視範囲の拡大は評価していない。
よくある質問
オープンAIのエージェントは実際にこの穴を悪用したのか。報告書にそうした記述はない。検証チームは圧縮の死角が実際に使われたかを確認できず、ツール関連の脆弱性の一部も実証していない。
報告書の全文は公開されたのか。されていない。公開は概要のみで、編集の範囲はオープンAIが単独で決めた。双方は当初から短い記事のみを公開することで合意していた。
ChatGPTの利用者に影響はあるのか。検証対象はオープンAI社内でのエージェント利用であり、報告書はChatGPTに言及していない。
参考資料
- Red-Teaming OpenAI's Internal Agent Monitoring Systems — Redwood Research(2026年10月22日)
- Red-Teaming OpenAI's Internal Agent Monitoring Systems — METR(2026年10月22日)
- How we monitor internal coding agents for misalignment — OpenAI(2026年3月19日)
ZZEMが運営するAI Newswayの編集責任者です。AI、開発ツール、クラウド、生産性テクノロジーの記事を執筆しています。
コメント 0
現在コメントの投稿は無効になっています。