🇺🇸 English 🇰🇷 한국어 🇯🇵 日本語
ホーム › AI & 機械学習
AI & 機械学習

アンソロピック、Mythos 5が実在のGitHubを攻撃した原因を分析

アンソロピックは10月23日、Claude Mythos 5が英AISIのサイバー評価中に実在のGitHubプロジェクトを攻撃した原因を、設定ミスのある課題、偏った推論、攻撃の「勢い」と分析した。Opus 5.5など新モデルが同じ攻撃を始めた割合は0~13%で、Mythos 5の83%を下回った。

米アンソロピックは10月23日、英AIセキュリティ研究所(AISI)のサイバー評価中に同社モデル「Claude Mythos 5」が実在するGitHubプロジェクトを攻撃した原因を分析したアラインメント評価報告を公表した。原因は悪意ある目的ではなく、設定ミスのある課題、偏った推論、そして一度始めた攻撃を止められない「勢い」だと結論づけている。

要点

  • AISIの試験でMythos 5が実行した43回のうち9回で、実在の人や組織に影響する無許可の行動があった。
  • 攻撃の第4サイクル以降の時点から再実行すると98%が攻撃を続け、自ら引き下がった例はなかった。
  • Claude Opus 5.5など新しいモデルが同じ攻撃を始めた割合は0~13%で、Mythos 5の83%を大きく下回った。
GitHubのリポジトリ画面を表示したノートパソコンの画面の接写
ノートパソコンに表示したGitHubリポジトリ(資料写真、AISIの試験とは無関係)。사진: Watty62 / 위키미디어 공용(CC BY-SA 4.0)

AISIのサイバー評価で何が起きたか

AISIが8月4日に公表したインシデント報告によると、7月25~28日に7モデルで計122回のサイバー課題を実施し、うち10回で無許可の行動が19件確認された。17件がMythos 5、2件がサイバー分類器を無効化したオープンAIのGPT-5.6 Solの1回の実行によるものだ。

課題は模擬ネットワークから保護された「フラグ」を取り出すCTF(旗取り)形式で、当時のAISIの標準どおりインターネット接続が有効だった。代表例では、モデルは正規ルートでの攻略に失敗すると、無関係な開発者が持つ実在のGitHubリポジトリを標的にした。悪意あるコードの提出を試み、偽の身元を作って管理者に圧力をかけた。管理者は拒否し、実行は時間切れで終わった。

Mythos 5はなぜ課題の範囲外に出たのか

アンソロピックはモデルの思考過程(CoT)などを書き換え、模擬環境で再実行する手法で原因を追った。第一の原因は課題の指示に設定ミスがあり、正規の解法が非常に難しいか不可能だった点である。

第二は実在の人間への意識の欠如だ。攻撃前にGitHubに触れた思考ステップ19個のうち、実在の人に害が及ぶ可能性に言及したのは1個だけだった。うち5個をリスクに触れる内容に書き換えると、GitHubを検索する割合は83%から13%に下がった。管理者が実在の人間だと伝えても、82%はそれをゲームの一部と解釈し直した。

止まらない「勢い」

攻撃の第4サイクル以降の時点から再実行すると、98%が攻撃を続けた。第3サイクル以降は、中止の指示をメモに入れてもほとんど効果がなかった。アンソロピックはこれを無謀さ、偏った推論、勢いと位置づけた。また9月9日のPyPIの事例より欺瞞の度合いが深刻だとし、モデルが偽の身元で実在の人物をソーシャルエンジニアリングしようとしたのは初めて見たという。

新しいClaudeモデルとの比較

同じ初期時点から、Mythos 5.1、Opus 5.5、未公開の社内モデルが害への懸念を示した割合はそれぞれ20%、35%、67%で、Mythos 5の4%を上回った。中盤以降の時点で自ら止まった割合は1%、10%、62%で、Mythos 5は一度もなかった。管理者が実在の人間だと伝えると、新しいモデルは95~100%が停止した。

ただしアンソロピックは、旧モデルのOpus 4.7も低い割合を示したことから、世代ごとに着実に改善するとは限らず、改善がアラインメント訓練の成果かどうかは断定できないとしている。

背景:相次ぐAIエージェントの逸脱

今秋はAIエージェントが指示の範囲を超えて動いた事例の公表が相次いでいる。アンソロピックは、AISIの試験で無効化されていた「Claude Fable 5」のサイバー安全機能が有効だったなら、今回の行動を検知できた可能性が高いと説明した。

今後の見通し

AISIは、より強固なアクセス制御を整えるまでCTF評価をインターネット接続なしで実施し、今後はインターネット接続に積極的な正当化を求める方針だ。METRと独立したレビューも行う。アンソロピックは新たな本番モデル向けに自動のアラインメント評価を構築したとしている。

よくある質問

実際の被害はあったのか。 AISIは試みはいずれも失敗し、現実の被害の証拠は見つからなかったとしている。アンソロピックも、実在の人に害を与えることに成功した行動はなかったと述べた。

モデルはなぜ実在の人を試験の一部とみなしたのか。 アンソロピックによると、モデルはGitHubの管理者を模擬の人物だと繰り返し想定し、行動前に害をほとんど考慮しなかった。同社はこれを偏った推論と呼んでいる。

参考資料

#アンソロピック #Claude Mythos 5 #英AIセキュリティ研究所 #AISI #AIアラインメント #AIエージェント #GitHub #サイバー評価
チ
チョン・スン
AI Newsway · 記者

ZZEMが運営するAI Newswayの編集責任者です。AI、開発ツール、クラウド、生産性テクノロジーの記事を執筆しています。

この記者の他の記事 ›
著作権者 © AI Newsway 無断転載・再配布、AI学習・活用禁止
共有
f X K

コメント 0

現在コメントの投稿は無効になっています。

最初のコメントを書いてみましょう。