🇺🇸 English 🇰🇷 한국어 🇯🇵 日本語
ホーム › AI & 機械学習
AI & 機械学習

METR「アンソロピックのAI研究、速度が約2倍に」

独立系評価機関METRは2026年11月5日、アンソロピックのモデル性能向上の速度が2024年3月〜2025年10月の約2倍に加速し、主因はAIだとする報告書を公表した。ただ重要な証拠の大半は公開版から削除された。

独立系AI評価機関のMETRは2026年11月5日、アンソロピックが明確に定義されたタスクでモデル性能を高める速度が、2024年3月〜2025年10月と比べて約2倍に加速しているとの報告書を公表した。METRは加速の主因をAIそのものとみている。ただ、判断の決め手となった証拠の大半はアンソロピックが公開版から削除した。

ネットワークケーブルの間で小さなLEDランプが光るサーバー機器
ステータスランプが点灯したサーバー機器(資料写真)。사진: letavua / Flickr(CC BY-SA 2.0)

要点

  • METRは、アンソロピック社内の性能指数の伸びが2025年10月以降1.9倍に加速したと推計した(95%信頼区間は1.5〜2.8倍)。
  • 2026年10月時点の加速分の「おそらく約80%」はAIによるもので、学習用計算量の増加では説明できないとした。
  • アンソロピックは重要な証拠の大半を非公開とし、計算資源の安全研究への配分を検証する項目も途中で取りやめた。

AIはAI研究をどこまで加速させたか

METRが用いた中心指標はAECIである。報告書はこれを、Epoch AIの「能力指数(ECI)」のアンソロピック版と説明する。複数のベンチマーク結果を束ねた総合スコアだ。METRは指数の推移に一つの屈曲点を置き、その前後の傾きを比べた。

結果は従来比1.9倍だった。METRは、実際の伸びが1.3倍や3倍に近くても「驚かない」と付け加えている。この数字は、アンソロピックが「Haiku 5.5」のシステムカードで示した1.7倍を上回る。METRは、未公開の新しいモデルのデータを含めたことが主な違いだと説明した。

原因はAIか、計算量か

METRは、学習用計算量の伸びが速まったことによる加速ではないと確信していると述べた。2025年後半の変化にはAI以外の要因が影響した可能性が高いが、2026年10月時点の加速の大部分はAIによるものだという。不確実性は大きいとも明記した。

社員へのインタビューや社内の自己申告も、AIがペースを2倍にしたとの見方と「整合的」だった。ただし社内アンケートの体感向上の数字は、非常に緩い証拠にすぎないと位置づけた。今後12カ月でアルゴリズム、計算資源、データのいずれにも明確なボトルネックは見当たらないとしたが、この判断に確信はないという。

METRが見たもの、公開されなかったもの

評価は2026年8月12日から10月29日までの11週間にわたった。METRはアンソロピックの端末上で社内ベンチマークの得点、人員や計算資源の指標、コード活動のデータを調べ、主要社員約15人に聞き取りをした。METRはアンソロピックから対価を受け取っておらず、同社は無料のトークンを提供しただけだという。

アンソロピックには非公開情報を削除する権限があった。METRは「最も有益だと考えた証拠の大半をアンソロピックが削除した」と記している。同社は、他のAI開発企業の開発を加速させかねない機密を除くための措置だと説明した。計算資源の配分検証はMETRが結論を出す前に中止され、同社は後日改めて検討するとしている。

背景:外部評価者の受け入れ

アンソロピックは「責任あるスケーリング方針(RSP)」で、AI研究の加速を主要なリスク指標に位置づけている。同社は10月15日、METRの社員6人に「社員並みのアクセス権」を与えたと発表した。METRは今回の評価がその取り組みとは別のプロジェクトだと強調した。

今後の焦点

METRは過大評価と過小評価の両方の可能性を挙げた。指数が現実への影響を十分に映していない可能性もあれば、加速が明確に定義されたタスクに限られる可能性もある。今後は、アンソロピックが計算資源配分の検証を再開するか、次の報告書でより多くの証拠が公開されるかが焦点となる。

FAQ

「2倍」はモデルが2倍賢くなったという意味か
そうではない。社内の性能指数が伸びる速度が、2024年3月〜2025年10月と比べて約2倍になったという意味である。

METRは未公開モデルを実際に使ったのか
社内限定モデルのベンチマークデータは見たが、未公開モデルを直接動かす権限はなかった。

読者は証拠を検証できるのか
一部にとどまる。約100ページの完全版報告書はアンソロピックに渡され、公開版からは重要な証拠の大半が除かれた。

参考資料

#METR #アンソロピック #Anthropic #AI研究の加速 #再帰的自己改善 #AI安全性 #責任あるスケーリング方針 #外部評価
チ
チョン・スン
AI Newsway · 開発者

AI Newswayの編集責任者です。AI、開発ツール、クラウド、生産性テクノロジーの記事を執筆しています。

この記者の他の記事 ›
著作権者 © AI Newsway 無断転載・再配布、AI学習・活用禁止
共有
f X K

コメント 0

現在コメントの投稿は無効になっています。

最初のコメントを書いてみましょう。