コーディングAIのハーネス、点数同じでコスト最大3倍
中国・山東大学の研究者が5モデルを3つのハーネスで比較した結果、点数差は5ポイント以内だったが、1タスク当たりのコストは最大3倍の差がついた。
コーディングエージェントの「ハーネス」を入れ替えてもベンチマークの点数はほとんど変わらないが、コストは最大3倍に開く――。中国・山東大学の研究者2人が2026年10月3日にarXivで公開した論文で、米IT媒体VentureBeatが23日（現地時間）に報じた。5つのモデルをClaude Code、OpenCode、mini-SWE-agentで動かし、SWE-bench Verifiedで比較した。
要点
- 447タスクでは、最も重いClaude Codeと最も軽いmini-SWE-agentの差が、2モデルとも5ポイント以内に収まった。
- 同じモデル・同じタスク・同じ料金表でも、1タスク当たりのコストはハーネスにより最大3倍違った。
- コストを左右したのは毎ステップ送り直す固定プロンプトで、Claude Codeが1万6581トークン、OpenCodeが7025トークン、mini-SWE-agentが829トークンだった。
コーディングエージェントのハーネス比較の方法
ハーネスとは、モデルを包んでシステムプロンプトやツール、コンテキスト管理を担う実行の枠組みである。リウ・ヤンゼ氏とハン・ジョンイー氏はモデルを固定し、この枠組みだけを変えた。対象はQwen3.6-35B-A3B、Qwen3.8-27B、DeepSeek-V4-Flash、GLM-5.3-Flash、HY4-Previewの5モデルだ。
Qwenの2モデルは447タスク、5モデルすべては難しい45タスクを解いた。初期のWeb接続ありの試行では、DeepSeekとQwenの試行の71％がGitHubから元の修正コードを取得していたことが判明し、本評価ではネットワークを遮断した。
Claude Codeとmini-SWE-agentの点数
Qwen3.6-35B-A3BではClaude Codeが採点対象445タスク中310、mini-SWE-agentが318を解き、差は1.8ポイントだった。Qwen3.8-27Bでは444タスク中347と353で、差は1.4ポイントである。
難しい45タスクでハーネスを替えると、約13％のタスクで成否が入れ替わった。同じハーネスを再実行した場合と同じ割合だ。ノイズを明確に上回ったのは、OpenCodeが大規模セットで最大9ポイント劣った点だけで、あるモデルではその差の約半分が3万2000トークンの出力上限による打ち切りに起因していた。
開発元の純正ハーネスにも優位はなかった。DeepSeekの公式CLIはDeepSeek-V4-Flashで45タスク中21を解き、Claude Codeと同数だった。著者らは「ベンダーが自社モデル向けに作ったハーネスでも、点数上の優位は得られない」と記している。
AIコーディングエージェントのコストはなぜ違うのか
コストはハーネス自身の文面にステップ数を掛けた分だけ膨らむ。GLM-5.3-Flashでの1試行当たりの費用は、Claude Codeが1.81元、mini-SWE-agentが0.97元、OpenCodeが0.56元だった。
| ハーネス | 固定プロンプト（トークン） | 1試行の費用（元） |
|---|---|---|
| Claude Code | 16,581 | 1.81 |
| OpenCode | 7,025 | 0.56 |
| mini-SWE-agent | 829 | 0.97 |
ステップ数も効く。DeepSeek-V4-Flashではmini-SWE-agentが141ステップ、Claude Codeが104ステップを要した。入力トークンの96〜99％はキャッシュで処理されたが、コストの順位は変わらなかった。
背景：別の研究HarnessTaxも同じ傾向
別プロジェクトのHarnessTaxは、7モデルとClaude Code、OpenAIのCodex CLI、Piの3ハーネスを組み合わせた21通りを、SWE-bench LiteとTerminal-Bench 2.0で検証した。VentureBeatはこれをカリフォルニア大学バークレー校Sky Computing LabとArenaの研究と紹介し、合格率の差は数ポイントだがコストは最大5倍開いたと伝えた。
今後の見通し
著者らは、小さなベンチマークでは多くの主張を判定できないと警告する。45タスクでは13ポイントの差でも検出できるのは半分程度にとどまり、447タスクでも区別できるのは約5ポイントの差までだった。各社がうたうハーネスの改善幅より粗い水準である。
著者らは、重いハーネスに費用をかける前に、初回呼び出しの大きさ、ステップごとの増加量、ステップ数を比べるよう勧めている。
よくある質問
Claude Codeを使えばSWE-benchの点数は上がるのか
今回の研究では上がらなかった。Qwenの2モデルの447タスクでは、いずれもmini-SWE-agentがわずかに上回った。
ハーネスごとのコスト差はどこから生じるのか
主に、毎ステップ送り直すシステムプロンプトとツール定義である。Claude Codeの固定プロンプトはmini-SWE-agentの約20倍だった。
参考資料
- What Does a Harness Buy? Tokens, Mostly — arXiv、Yangze Liu・Zhongyi Han（2026年10月3日）
- HarnessTax: How Much Does the Harness Matter for Coding Agents? — HarnessTaxプロジェクトページ
- A coding agent's harness can triple its cost without making it more accurate, study finds — VentureBeat（2026年10月23日）
コメント 0
現在コメントの投稿は無効になっています。