AIエージェントのアプリ完成率、最高65% ViBench 2.0
リプリットは10月28日、AIエージェントが機能を積み重ねて製品全体を作れるかを測る「ViBench 2.0」を公開した。完全ビルドの割合はGPT-6.1 Solが65%、GPT-6 Astraが60%、Claude Opus 5.5が49%で、オープンウェイトモデルは完全ビルドを達成できなかった。
米リプリット（Replit）は現地時間10月28日、AIコーディングエージェントが空のプロジェクトからソフトウェア製品を丸ごと作り、自ら書いたコードに機能を追加し続けられるかを測るベンチマーク「ViBench 2.0」を公開した。首位の米オープンAIの「GPT-6.1 Sol」でも、全テストに合格したビルドは65%にとどまった。オープンウェイトモデルで完全なビルドを達成したものは一つもなかった。
ポイント
- ViBench 2.0は、ウーバーやGitHub、Googleドキュメントなどを模した製品17個、機能要求241件、ブラウザー上のテスト計画544件で構成される。
- 完全ビルドの割合はGPT-6.1 Solが65%で首位。GPT-6 Astraが60%、米アンソロピックの「Claude Opus 5.5」が49%で続いた。
- 上位3モデルはいずれも個別テスト計画の90%超に合格した。差がついたのは、機能を一つも壊さずに製品を完成させられるかどうかである。
ViBench 2.0とは 何を測るベンチマークか
リプリットの発表によると、ViBench 2.0ではエージェントが空のプロジェクトから作業を始める。短い仕様書をもとに最初の版を作り、その後、自分で書いたコードの上に最大18の機能を順番に追加していく。
エージェントは、後からどんな機能が求められるか分からないままデータベースの設計やルーティングを決めなければならない。テスト計画は、配車アプリで割り勘にした料金の合計が運賃と一致するか、返金が二重に処理されないかといった挙動を段階的に確かめる。
採点はClaude Opus 5.5の採点エージェントが、実際のブラウザーで全テスト計画を実行して行う。リプリットは正常なビルドにバグを一つずつ計34個仕込んで検証し、バグが見える状態で採点役が合格と判定したことはなかったとしている。GPT-6.1 SolがOpusの合格判定477件を再採点したところ、99.2%が一致した。
ViBench 2.0の結果 GPT-6.1 Sol・GPT-6 Astra・Claude Opus 5.5
公式計測は米ファイアワークスAIが担い、各モデルで製品ごとに4回ずつ、推論強度「medium」で実施した。代表指標のpass@1は、全テスト計画に合格したビルドだけを成功と数える。
| モデル | 完全ビルドの割合 | 1ビルド当たりのコスト |
|---|---|---|
| GPT-6.1 Sol | 65% | 約12ドル |
| GPT-6 Astra | 60% | 約90ドル |
| Claude Opus 5.5 | 49% | 非公表 |
速度の差も大きい。Opus 5.5は1ビルド約70分で、Solはその約2.5倍の時間がかかった。リプリットは、差の大半はAPI提供側の速度によるものだと説明している。ファイアワークスの「Specialized Intelligence Index」には、Solがpass@1で64.7%、1タスク当たり12.34ドル・1万680秒と掲載されている。
低価格帯では中国ディープシークの「DeepSeek V4.1 Flash」が1ビルド約2.50ドルでテスト計画の77%に合格したが、オープンウェイトモデルで完全なビルドを達成した例はなかった。
AIコーディングエージェントはどこでつまずくか
上位モデルの失敗ビルドのうち4分の3近くは、機能同士が交わる部分だけで壊れていた。また上位モデルのビルドの約40回に1回は、後から加えたスキーマのコードがテーブル作成前にそのテーブルを参照したため、空のデータベースでそもそも起動しなかった。
背景 初代ViBenchから2.0へ
初代ViBenchはリプリットとジョージアン（Georgian）のAIラボが共同で開発した。ジョージアンによると、公開時点ではClaude Opus 4.6が課題の45.7%に合格して首位だった。9モデル中7モデルは、きれいな参照実装より自分のコードを拡張する場合の方が成績が低かった。2.0はこの「バイブ・オン・バイブ」の条件を、長い製品開発の過程にまで広げたものである。
今後の見通し
製品8個はGitHubでHarbor形式により公開され、リリースv2.0.6からコマンド一つで再現できる。残る9個は非公開である。リプリットは詳しい手法の解説を近く公開するとしている。現時点の結果はリプリットと協力企業が計測・公表したもので、第三者による再現はまだない。
よくある質問
ViBench 2.0とは何か。
AIエージェントに製品17個をゼロから作らせ、製品ごとに最大18の機能を追加させたうえで、544件のブラウザーテスト計画で採点するリプリットのベンチマークである。
最も成績が良かったモデルは。
オープンAIのGPT-6.1 Solである。ビルドの65%が全テスト計画に合格し、1ビルド当たりのコストは約12ドルだった。
自分で試せるのか。
公開済みの製品8個は、リリースv2.0.6のOpenHandsベースの実行環境で動かせる。残り9個は公開されていない。
参考資料
- ViBench 2.0: A Benchmark for Long-Horizon Software Building — Replit（2026年10月28日）
- Specialized Intelligence Index — Fireworks AI（2026年10月28日更新）
- Vibe Check: Why Georgian and Replit Created a Benchmark on Vibe Coding — Georgian（2026年6月25日）
コメント 0
現在コメントの投稿は無効になっています。