Ai2「StateBench」、最先端AIも長文の状態追跡で13％

米非営利研究機関のアレン人工知能研究所（Ai2）は11月3日（現地時間）、長い文書の中で対象の情報が変化していく過程を言語モデルがどこまで正確に追えるかを測る公開ベンチマーク「StateBench（ステートベンチ）」を発表した。Ai2によると、Claude Opus 5.5、Gemini 3.8 Flash、OpenAIのGPT-6 Sol・Lunaといった最先端モデルでも、最も難しく長い問題では正答率が13％以下に落ち込んだ。

ポイント

• StateBenchは、同じ変数代入の記録から派生させた4段階の難易度で、長文における「状態追跡」能力を測る。
• 値を参照で渡し入れ替える最難関「一般有限」レベルの最長問題で、最先端モデルの正答率は13％以下だった。
• 2億7500万パラメーターの実験では、Transformerは最難関レベルを学習できず、Gated DeltaNet系は学習長を大きく超えても高い性能を保った。

StateBenchが測るもの

Ai2はこのベンチマークを「長い文書の中で対象に関する情報が変化していくとき、言語モデルがそれをどれだけうまく追跡できるか」を見る試験だと説明している。従来の長文評価の多くは文書に埋め込んだ一つの事実を探させる形式だが、StateBenchは長い更新の連続を経た後の変数の現在値を問う。

難易度は4段階である。「R-trivial」はlet x = 4のように一度決めたら変わらない代入、「非周期（aperiodic）」は値の再代入、「可解（soluble）」はx = x + 5のような自己参照的な更新を加える。最上位の「一般有限（general finite）」は参照による代入と値の入れ替えまで含み、Ai2は「4つのレベルの中で最も難しい」としている。

すべての問題は一般有限レベルの記録一つから出発し、易しい3段階は変数の数・値・代入位置を同じにしたままこの記録から作られる。

StateBenchの構成と公開範囲

GitHubリポジトリはApache 2.0ライセンスで公開された。同じ記録を整数コード、キューブの塗り分け、スプレッドシートのセル、ステータスランプ、部屋を移動する人物など複数の形式に変換して出題する。テストセットは340の元サンプルを最大6万4000回の代入まで12の長さ区分に分けて収録し、無関係な埋め草文の比率を0％から90％まで変えている。

Transformerが状態追跡に弱い理由

Ai2は構造の違いを見るため、2億7500万パラメーターのモデルをゼロから学習させた。Transformer2種、ハイブリッド2種、Gated DeltaNet2種である。学習には最大256回の代入の系列を使い、評価は学習長の250倍にあたる6万4000回まで伸ばした。

Gated DeltaNetとハイブリッドのモデルは、易しい3段階で「ほぼ完璧に汎化」した。一般有限レベルでも、メモリー更新がより柔軟なGated DeltaNetの派生モデルは、最長学習系列の約10倍までほぼ完璧な性能を維持した。一方、Ai2は発表記事で「Transformerは違った。直接学習させても、最も難しいレベルは決して習得できなかった」と記している。

事前学習済みモデルも試験した。70億パラメーター級のTransformer「Olmo 3」と、Gated DeltaNet層を加えた「Olmo Hybrid」、さらに2億7500万・27億パラメーターの小型モデルである。事前学習済みのハイブリッド・Gated DeltaNetモデルは、RULER形式のR-trivial問題では満点に近かったが、同じ問題をスプレッドシート編集の形式にすると偶然レベルにとどまった。

背景：長いコンテキストと記憶力は別物

今回の結果は、モデルがうたうコンテキスト長が、長い入力を実際に信頼して扱える能力を過大に見せているという根拠を補強するものだ。今週初めに発表された別のAIエージェント実務ベンチマークでも、首位のモデルが作業全体のごく一部しかこなせなかった。

今後の見通し

Ai2は、現在の枠組みが変数の数を固定と仮定しており、その数が変わる状況は「まだ扱えていない」と説明した。固有値が非負のGated DeltaNetがこの階層のどこに位置するかも未解決の問いとして残した。Ai2は「研究者にとって北極星のような存在になることを願う」としている。

よくある質問

StateBenchとは何か。
Ai2が公開したベンチマークで、最大6万4000回の代入に及ぶ長い文書で、言語モデルが変化する変数の値を最後まで追跡できるかを評価する。

最先端モデルの成績は。
Ai2によると、Claude Opus 5.5、Gemini 3.8 Flash、GPT-6 Sol・Lunaはいずれも最長の一般有限問題で13％以下に落ちた。

自分で試せるか。
試せる。生成コードはGitHubにApache 2.0で、評価データはHugging Faceで公開されている。

参考資料

• StateBench: Testing how language models track state changes over long documents — Ai2、Hugging Faceブログ（2026年11月3日）
• allenai/state-bench — GitHub