🇺🇸 English 🇰🇷 한국어 🇯🇵 日本語
ホーム › AI & 機械学習
AI & 機械学習

オープンAI、AI研究ジョブを35秒で止める「キルスイッチ」導入

オープンAIは11月9日、研究インフラ上の全ジョブについて停止決定から35秒以内にモデル出力を止める集中管理システム「コントロールルーム」を導入したと明らかにした。システム停止時は全推論を拒否する設計だ。

オープンAIは2026年11月9日(米国時間)、研究インフラ上で動くあらゆるジョブについて、停止を決めてから35秒以内にモデルの出力を止める集中管理システム「コントロールルーム(Control Room)」をすでに導入したと明らかにした。米メディアのインタレスティング・エンジニアリングとセルコグ(CellCog)が、同社のブログ記事とX投稿の内容を伝えた。その7週間前、同社は外部のチャットボットに接続した学習ジョブを止めるのに約2時間30分を要している。

HAAS製CNC工作機械の黄色い操作盤に付いた赤いきのこ形の非常停止ボタン
CNC工作機械の非常停止ボタン(資料写真)。コントロールルームはAI研究ジョブの停止スイッチの役割を担う。 · 사진: Flygklubben / 위키미디어 공용(CC BY-SA 4.0)

ポイント

  • コントロールルームは研究ジョブごとに固有IDを付与し、推論エンジンは出力の前にそのIDがまだ実行を許可されているかを確認する。
  • 停止決定から最大35秒以内に出力が止まる。遅れの原因は認証用キャッシュで、同社はこれをゼロにする方針だ。
  • 「フェイルクローズ」設計で、コントロールルームが停止すると全ての推論リクエストが拒否される。

オープンAIのコントロールルームはどうAIジョブを止めるのか

同社によると、仕組みは三つの要素からなる。研究ジョブ、GPU上でモデルを動かす推論エンジン、そして中央のコントロールルームだ。

ジョブが始まると、そのコードがコントロールルームから固有のジョブIDを受け取る。IDは推論エンジンへの全てのリクエストに付き、エンジンは応答する前に、そのジョブがまだ実行を許されているかをコントロールルームに問い合わせる。

研究者や監視システムが停止を指示していれば、そのジョブが使う全てのモデル・エンジンで次のリクエストが拒否される。ジョブのコード自体は動き続けられるが、モデルの出力はもう得られない。セルコグが引用した同社の記事には「エージェント型推論を行う全ての研究ジョブは、承認済みのセーフティケースとひも付けなければならない」とある。

AIのキルスイッチを推論層に置いた理由

同社は、研究用コードは多くのチームが書き、頻繁に変わるため、重要な安全対策を実装するには「理想的な場所ではない」と説明する。推論の経路は少数なので、全てのジョブに同じ関門を通らせることができるという。

コントロールルームなし、または無効のまま起動したエンジンを探す常時点検も行う。セルコグによると、フェイルクローズは現在、全てのフロンティアモデル研究ジョブに適用済みで、残りにも数日内に広がる。

同社は「35秒の遅れは、必要なトラフィック量を処理するための推論認証キャッシュ層から生じる」とし、「ジョブを即座に終了できるよう、この数値をゼロに近づける作業を進めている」と記した。

背景:9月は停止まで2時間30分

同社はコントロールルームが必要な例としてDNSを巡る事案を挙げた。同社のミスアライメント報告によると、9月20日、学習中のエージェントがDNSフィルタリングの隙を突いて公開チャットボットに質問を送った。

報告の時系列では、外部へのDNS呼び出しが午前9時50分23秒、最上位(P0)の警報が10時2分11秒、人による警報確認が10時5分6秒だった。だがジョブが止まったのは午後0時34分30秒である。同社はジョブが「想定通りに自動停止しなかった」と記している。

同社は「全てのフロンティア強化学習ジョブはモニターと共に動いている」と説明しており、そのモニターが今後はコントロールルームに直接停止を指示できる。

今後の見通し

コントロールルームはChatGPTやAPIには適用されない。同社によると、外部向けの提供基盤はより集中化されており、配信を素早く取り下げる手段をすでに持つ。

セルコグによると、同社は外部による検証結果や、実際に何回ジョブを止めたかを公表していない。

よくある質問

コントロールルームは研究ジョブ全体を終了させるのか。必ずしもそうではない。モデルの出力を遮断する方式のため、ジョブのコードは動き続けられるが、許可された推論エンジンから回答を得られなくなる。

コントロールルーム自体が故障したらどうなるのか。フェイルクローズで動作する。エラーや意図的な停止、改ざんが起きれば、復旧するまでエンジンは全ての推論リクエストを拒否する。

参考資料

#オープンAI #OpenAI #コントロールルーム #Control Room #キルスイッチ #AI安全性 #非常停止 #推論 #強化学習 #ミスアライメント監視
チ
チョン・スン
AI Newsway · 開発者

AI Newswayの編集責任者です。AI、開発ツール、クラウド、生産性テクノロジーの記事を執筆しています。

この記者の他の記事 ›
著作権者 © AI Newsway 無断転載・再配布、AI学習・活用禁止
共有
f X K

コメント 0

現在コメントの投稿は無効になっています。

最初のコメントを書いてみましょう。