AIコーディング首位でも実務の修正依頼の完全達成は26.4%
アリババグループや復旦大学などの研究チームが10月26日に公開したベンチマーク「Co-Design Bench」で、首位のGPT-6 Astraは要件の平均69.9%を満たしたが、実ユーザーのウェブアプリ修正課題273件のうち完全に達成できたのは26.4%だった。
アリババグループや復旦大学など6機関の研究チームが、実際のユーザーによるウェブアプリ修正依頼でAIコーディングエージェントを評価したところ、首位のモデルでも課題を完全に達成できたのは26.4%にとどまった。研究チームは10月26日、論文「Co-Design Bench」をarXivで公開し、AI専門メディアのThe Decoderが11月8日に報じた。
ポイント
- 10モデル中トップのGPT-6 Astraでも、要件の達成率は平均69.9%、課題の完全達成率は26.4%だった。
- 10モデルすべてで、3～4種類の変更が混在するリポジトリ編集の成績が、1～2種類の場合を下回った。
- 273件の課題は、実際のコーディングセッション2万6314件、重複を除いた3万7463件の依頼から選ばれた。
Co-Design Benchとは
Co-Design Benchは、動作するウェブアプリと実ユーザーの修正依頼をセットでエージェントに渡す。依頼には画像、音声、動画、文書が添付される場合もある。
課題は2部門に分かれる。「マルチモーダル編集」の100件は、領収書から金額を読み取り、関連する合計欄をすべて更新するといった局所的な修正だ。「リポジトリ編集」の173件は、コンポーネントやルーティング、状態、データの流れを複数ファイルにまたがって変える必要があり、うち166件が2種類以上の修正を求める。
研究チームは、ユーザーが依頼を何度も言い直したり変更を取り消したりした事例、つまり実際にエージェントが苦戦した依頼を優先して選んだ。
AIコーディングエージェントの採点方法
専門家が非公開の合格基準2331項目を作成した。まずAI審査役がソースコードとブラウザ上の実行記録をもとに項目ごとの合否を判定し、続いて別のLLM検証役が「合格」「部分合格」の判定に異議を唱える。中身のない機能や、結果をコードに直接書き込んだケースを排除するためである。フロントエンドの専門家2人も採点を確認した。
全モデルは同じClaude Codeのハーネス上で実行され、1回の実行は最長3時間に制限された。
モデル別の結果、首位はGPT-6 Astra
総合順位はGPT-6 Astra、Claude Opus 5、Qwen3.8-Maxの順だった。マルチモーダル編集でのGPT-6 Astraの完全達成率は41.0%で、Qwen3.8-Max（31.0%）、Opus 5（30.0%）、Grok 4.6（6.0%）を上回った。一方、リポジトリ編集では17.9%に下がった。
部門によって順位も入れ替わった。小型のQwen3.8-27Bがリポジトリ編集で2位、総合で4位に入ったが、研究チームは差がわずかで「一般的なモデルの優位性を立証するものではない」としている。
作業量の多さが成績に直結するわけでもない。マルチモーダル編集でGLM-5.2は1課題あたり中央値69ターンと、GPT-6 Astra（32ターン）の2倍以上を費やしたが、スコアは下回った。
| 能力 | 課題数 | 完全達成率 |
|---|---|---|
| 根拠の理解（Grounded Understanding） | 92 | 20.2% |
| UI変換（UI Transformation） | 55 | 13.6% |
| 機能実装（Functional Implementation） | 126 | 10.3% |
背景：飽和する既存ベンチマーク
エージェントが自らコードを実行して修正できるようになり、既存のウェブ編集ベンチマークは事実上飽和したというのが研究チームの見方だ。依頼の大半をこなしても細部を一つ取りこぼせば、最後は人間が仕上げる必要がある。
今後の展望
研究チームは限界も認めている。課題ごとの依頼は一つに固定されており、ユーザーからの追加フィードバックは再現していない。AIによる採点は「判定ミスを排除することはできない」とも記した。そのうえで、ランキングでは要件の達成率と課題の完全達成率を併記すべきだと提言している。
よくある質問
Co-Design Benchとは何か。
実ユーザーのコーディングセッションから抽出したウェブアプリ修正課題273件を、専門家が作成した非公開基準2331項目で採点するベンチマークである。
最も成績が良かったAIコーディングエージェントは。
GPT-6 Astraである。要件の平均69.9%を満たしたが、課題を完全に達成できたのは26.4%だった。
実際の依頼でスコアが下がるのはなぜか。
レイアウト、スタイル、操作、コンテンツの変更が一度に求められることが多いためだ。こうした変更が3～4種類混在するリポジトリ課題では、10モデルすべての成績が低下した。
参考資料
- Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models — arXiv、Xilin Weiほか（2026年10月26日）
- Co-Design Bench — Multimodal Collaborative Coding Evaluation for Agentic Models — プロジェクトページ
- AI coding agents still need human cleanup on nearly three out of four tasks in a real-world test — The Decoder（2026年11月8日）
コメント 0
現在コメントの投稿は無効になっています。