エージェントを本番投入する前に、同じ課題を5回走らせてみてください。いま引用している正答率は、利用者が実際に触れるシステムとは別物をほぼ確実に説明しているからです。IBMリサーチの新しい研究が示す実務上の結論はそこにあります。研究チームはReActエージェントがAppWorldベンチマークで平均77.4%の成功率を出すことを確認したうえで、5回すべてで正解を返した課題は53.0%にとどまることを突き止めました。
要点
- この2つの数字の差である24.4ポイント、IBMが一貫性ギャップと呼ぶ開きは、デコードの温度を0に固定し、課題の条件を一切変えない状態で現れました。
- Consistency Analyzerと呼ぶ診断ツールは、すでに記録された実行履歴1件だけから不安定な手順を特定します。判断ごとにモデル呼び出しが1回増えるだけで、正解ラベルも採点器も環境の再実行も不要です。
- その診断から生成したガイドラインを適用すると、5回すべてを通過する割合は69.0%に上がり、平均正答率も同時に81.0%まで伸びました。ツールキットはGitHubで公開されています。
平均点は約束の中身と食い違う
リーダーボードが示すのはMean@kです。課題群をk回走らせ、通過率を平均して数値を公表します。典型的な振る舞いの説明としては妥当ですが、実務のワークフローが約束する内容の説明としては不十分です。取引の照合や契約条項の確認は、何度も試して最良の結果だけを採用できる種類の仕事ではありません。
その約束に対応する指標がPass^kです。エージェントがk回の実行すべてで正解した課題の割合を指します。IBMは、コード生成の論文でおなじみの楽観的な指標であるPass@kと混同してはならないと強調しています。Pass@kはk回のうち1回当たれば足りるからです。AppWorldの168課題からなるtest_normal分割では、前者から後者へ指標を切り替えるだけで代表値が4分の1近く削られ、最も難しい階層では差が約30ポイントに達します。
サンプリングの不具合ではなく分布の問題
この結果が厄介なのは、通常の対処が問題に届かない点にあります。貪欲デコードや固定シードは、確率分布をどのトークンに落とすかを決めるだけです。分布そのものが2つのもっともらしい次の行動にほぼ等しい確率を置いている場合、打つ手になりません。ホスティング環境では、浮動小数点の非結合性やリクエストのバッチ処理といったありふれた数値の揺らぎだけで、その僅差の順序が実行ごとに入れ替わります。こうした判断を数十個つなげば、1手順あたりでは小さい反転確率が、1実行あたりでは大きな値になります。
IBMの整理では、信頼性は能力とは別の軸にあります。つまりモデルを上位版に置き換えるという反射的な対応は的を外しています。より強力なAIエージェントは平均値を押し上げますが、必ずしも再現性が高まるわけではありません。
反転点を安価に見つける
Consistency Analyzerは、エージェントがすでに生成した軌跡1本を逆からたどります。その記録内の判断ごとに、保存された文脈に対して5つの出力を求める呼び出しを1回だけ送り、出力がどれだけ揺れるかを採点して手順別のスコアカードに書き込みます。環境に対して何かを再実行せず、正解データも要らず、モデル内部にも触れません。課題を最初から最後まで再現することがしばしば不可能な本番トラフィックでも使える理由がここにあります。
印の付いた手順はALTK-Evolveの既存フォーマットに沿ったガイドラインへ変換され、推論時に呼び出されます。公開されている例は解答集というより技術者の習慣に近い内容です。チェックボックスの印を数えるときは正規表現を行頭に固定する、検索が正しいレコードを返したことを確認してから行動する、といった具合です。重要なのは、このツールが失敗ではなく不安定さを探す点です。検査対象の実行ではたまたま正解していた手順も拾い上げます。
何がどれだけ動いたか
課題ごとに基準となる軌跡1本からガイドラインを生成し、新たに5回実行して検証したところ、Pass^5は53.0%から69.0%へ、Mean@5は77.4%から81.0%へ上昇しました。ギャップは12.0ポイントと半減し、それまで不安定だった課題の3分の1近くが毎回通過する課題に変わりました。絶対値での伸びは中難度が22.9ポイントで最大、難しい課題が14.3ポイント、易しい課題が12.2ポイントと続きます。どの階層でも平均正答率は後退しませんでした。これはIBMが意図的に課した制約で、正答率と引き換えに一貫性を買えば、不安定さの居場所が移るだけだからです。
転用も実際に効いているようです。同じシナリオの別課題に同一のガイドラインを当てた場合でも、Pass^5は13.0ポイント改善しました。性能の劣るgpt-oss-120bでは、類似課題での8.7ポイントの伸びが同一課題での6.0ポイントを上回っています。1回の実行を丸暗記したというより、再利用できる失敗パターンを捉えたと考えるほうが筋の通る結果です。
ベンチマーク1つを超える意味
企業の購買側はこの1年、単発のスコアでエージェントを勧められてきました。今回の成果は、その主張を問い直すための具体的で安価な道具になります。ベンダーにPass^3の数値を求め、何が返ってくるかを見ればよいわけです。IBMはアナライザーとガイドライン生成をALTK-Evolveリポジトリでオープンソース公開し、手法はarXivの技術報告に詳述、Hugging Faceの記事で要約しています。
今年のエージェント評価に見られる大きな流れとも重なります。代表的な能力の数値は検証に耐えるのに、その背後の振る舞いは耐えないという事例が続いています。25ターンの圧力試験で推論は保たれたのに振る舞いが崩れたモデルが見つかったのと同じ構図です。
よくある質問
Pass^kとPass@kは何が違いますか
Pass@kはk回の試行のうち1回でも成功すれば解決と数えます。出力を検証して再試行できる場面では妥当な指標です。Pass^kはk回すべてが成功したときだけ解決と数えます。同じ質問を2回投げる利用者の体験に近い指標です。Pass^kは常に2つのうち低いほうの値になります。
温度を下げればエージェントの不一致は解消しますか
いいえ。24.4ポイントのギャップは温度0.0で測定されています。デコードのパラメータは分布をトークンに変える方法を決めるだけで、分布そのものには手を付けません。ホスティング環境のエンドポイントは、それとは無関係に実行ごとに確率をわずかに動かします。
Consistency Analyzerは今すぐ使えますか
使えます。ALTK-Evolveリポジトリでオープンソースとして公開されています。すでに手元にある実行履歴に対して動き、判断の手順ごとにモデル呼び出しが1回増えるだけで、正解ラベルは不要です。最初の測定にかかる費用は低く抑えられます。
