これまでに明らかになった米軍内部の AI 失敗事例で最も重大だったのは、暴走したシステムではなかった。書式を整える一手間である。特殊作戦の分析官がチャットボットに質問して誤った答えを受け取り、その答えを再び AI に渡して公式の情報文書らしい体裁に仕立てた。CNN は金曜日の報道で4人の情報源を引用し、こうして出来上がった文書が今春、中国船に対する武装臨検を実際に動かし、当局が誤りに気づいたのはその後だったと伝えた。
要点
- 特殊作戦司令部の分析官が、公開情報と機密の信号情報を統合させようとチャットボットに問い合わせ、モデルは中国船の積荷について誤った結論を出した。
- 同じ分析官はさらに AI を使ってその結論を標準的な情報文書の形式に整え、文書は疑問を持たれないまま指揮系統を巡った。
- CNN の情報源によれば、この件は単発ではなく、AI が生成した情報をどう検証するかを定めた統一基準は米軍全体に存在しない。
2度目の AI 利用が1度目より重かった理由
誰もが注目するのはハルシネーションの部分だろう。だが、そちらは面白みの少ない半分にすぎない。モデルは絶えず事実でないものを作り出し、モデルを使う分析官は出力を捨てる前提で仕事をしている。
その前提を消し去ったのが体裁だった。主張が標準の報告書フォーマットに落とし込まれた瞬間、それはチャットボットの回答には見えなくなった。完成した情報に見えた。指揮系統の下流にいる読み手は全員、実際には踏まれていない出典確認の手順を踏んだかのような形式の文書を受け取ったことになる。
最初の積荷目録の報告は、ハワイの米太平洋特殊作戦司令部から上がったものだった。チャットボットはそれを機密の信号情報と組み合わせ、当該船舶が核兵器の部品を積んでいると結論づけた。CNN の情報源の一人はこの報告を「まったくの虚偽」と呼び、あやうく戦争を始めるところだったと述べた。
どこまで進んでいたか
タイミングが誤りを一段と危険にした。報告が上がったのはイランとの戦争のさなかで、遅延を許す余裕はほとんどなかった。
武装した要員が乗船準備に入り、航空機はすでに飛んでいた。作戦を止めたのは、遅れて行われた出典の見直しだけだった。CNN は積荷が実際に何だったのかは確認できず、国防総省も太平洋特殊作戦司令部もコメント要請に応じなかったとしている。
中国船籍の船舶に対する米国の行動は、積荷の中身とはほとんど関係なくエスカレーションの危険を伴う。たった一段落の誤りが、二つの核保有国のあいだの銃撃事案を現実に引き起こしかねなかった理由はそこにある。
誰も引き受けていない検証の空白
当局者らは導入の形を分権的だと説明する。各司令部が自前で道具を選び、自前の命令と安全基準のもとで運用する。モデルが出した結果をどう検証するかを示す共通のルールはない。
これらのシステムに詳しい元高官は CNN に率直な見立てを示した。政府内部のツールといっても、その大半は化粧を施した市販製品だという。機密環境に置かれているというだけで消費者向けチャットボットより本質的に信頼できる、という前提を正面から否定する評価である。
���りは仕組みが説明する。大規模言語モデルは、中身の主張に裏づけがあるかどうかと無関係に、流暢で整った文章を生成する。ハルシネーションに見た目の手がかりはない。文章の自信は、世界についての証拠ではない。ある情報源はこの構図を一言に凝縮した。AI は誤った結論により速くたどり着かせてくれる、と。
政策的な背景
速度は事故ではなく、掲げられた目標そのものだ。ピート・ヘグセス国防長官は1月に人工知能加速戦略を公表し、実験の制約を解き、官僚的な障壁を取り除くと約束した。あわせて出された文書は、国防総省全体で AI を広く行き渡らせ、あらゆる機密区分の文民・軍人300万人の手にモデルを届ける構想を示していた。
そのモデルは市販品である。国防総省の最高デジタル・AI 室は Anthropic、OpenAI、Google、xAI に対し、それぞれ最大2億ドル規模の試作契約を発注した。この関係は摩擦と無縁ではない。連邦地裁は最近、Anthropic に付された国防総省のサプライチェーン・リスク指定を無効と判断した。一方で情報源によれば、標的選定における AI の利用は拡大を続けているのに、人間がどう関与して民間人の被害や同士討ちを防ぐのかについての実質的な指針はないという。
今後の見通し
GovAI の研究員で元米陸軍将校のジェイク・ステックラー氏は TechCrunch に対し、将兵はこれらのシステムが抱える不確実性を理解する必要があり、武力行使につながりうる判断ほどその要請は鋭くなると語った。彼はこの一件を、使うのをやめる理由だとは読んでいない。警告の向きは逆だ。導入の速さばかりを追えば信頼を壊す事故が起き、不信は慎重さよりもはるかに導入を遅らせる、というのである。
最も安上がりな対処は技術ではなく手続きの側にある。AI の助けを借りた判断に、指揮系統を通じてその旨を明示しておくだけでも、確認する側はどの主張を検証し直すべきかを少なくとも知ることができる。
FAQ
どの AI チャットボットが虚偽の報告を作ったのか
CNN は、そのツールが市販のチャットボットだったのか米政府の製品だったのかは明らかでないと報じた。元高官は、政府内部のツールの多くは市販モデルを包み直したものだと述べており、その場合この区別は実務上ほとんど意味を持たない。
この件で被害を受けた人はいたのか
いない。当局者が報告の出典を精査し、AI の支援で作成されたものだと判明したことで、予定されていた臨検は米側の要員が乗り込む前に中止された。中国船に対する作戦はいかなる形であれ、両国の武力衝突に発展する危険を抱えていた。
米国の情報活動で AI のハルシネーションが起きたのは初めてか
CNN の情報源の一人によれば、初めてではない。こうしたツールが広がり始めて以降、情報コミュニティ全体で同様のハルシネーションが表面化してきた。ただし作戦の実行段階にまで達した事例が公に報じられたのは今回が初めてである。
