ユーザー20万人超の消費者向けプロダクト企業と、銀行取引明細10万件以上を処理してきたフィンテック基盤が、自社の非公開リポジトリをめぐって異例の判断を下した。評価専門企業にライセンスしたのだ。Y Combinator出資のSpecific Labsはこれらのコードベースを束ねてReal-SWEを構築し、その過程で独自コードはAI業界が対価を払って買う商品になった。
要点
- Specific Labsはオープンソースプロジェクトを収集するのではなく、実際に営業している企業の本番リポジトリをライセンスし、どのモデルも事前学習で読んだはずのない評価素材を確保した。
- 同社は、実企業内部のトークンの99%がフロンティアモデルから見えていないと推定する。ライセンス市場が成り立つ理由はこの供給の空白にある。
- 検証器は採点時にのみ注入され、各コードベースに既存のテストスイートから取られる。つまりライセンス契約はコードだけでなくテストまで含める必要がある。
採算の構図は言葉にすれば単純だ。公開された評価素材には賞味期限がある。公開されたものはいずれ学習コーパスに入り、その時点で暗記と推論を区別できなくなるからだ。非公開コードにはその劣化がない。代わりに持ち主がいて、手に入れるにはクロールではなく交渉が要る。
ライセンスするコードベースに必要なもの
ソースへのアクセス権だけでは評価は作れない。Specific Labsは各エージェントを隔離されたサンドボックスで動かし、タスクをHarbor形式で保存し、採点時に検証器を注入する。この検証器はコードベースに元からあったテストを参考にしたものか、そのまま流用したものだ。使えるライセンスとは、リポジトリとテストスイート、そしてタスクを現実的にするイシュー履歴までを対象にしたものになる。
そうして生まれるタスクは、整えられたパズルとは似ても似つかない。ひとつは請求書を企業固有の税モードに通す課題で、税務当局プロバイダーを経由する仕向地基準の価格設定まで含む。別のひとつは、商品と利用量の所有権をサービスから顧客へ移しつつ、既存の読み取り動作を壊さない課題だ。三つめは、有効化されたAWSリージョンをすべて洗い出してブロックストレージの在庫を走査しながら、ひとつのリージョンの失敗で全体が崩れないようにする課題である。
企業ごとに固有のルールとコードの書き方がある。エージェントはその慣習を理解し、すでにあるものとかみ合う変更を出さなければならない。
作業範囲もそこから決まる。Real-SWEの解法が触れるファイルは中央値11個で、FrontierCodeやDeepSWEといった公開スイートの中央値6個のほぼ倍だ。事業の回り方を変える修正が、ひとつのサービス内に収まることはめったにない。
ライセンスデータが明らかにしたこと
最初の結果は、ライセンスした側にも示せる材料を与えた。Claude Code上で動くClaude Fable 5.1が38.8%で首位に立ち、Codex CLIのGPT-6 Astraが33.8%、Gemini CLIのGemini 3.8 Flashが31.2%で続いた。解決率はタスクごとに独立実行8回を平均したpass@1で、95%信頼区間とともに公表されている。
同様の契約を検討する側が押さえておくべき点がある。このスコアはモデル単体ではなくハーネスに紐づく。Real-SWEは各システムを純正ツールと組み合わせて評価するが、企業のエンジニアの働き方がそうだからだ。結局ライセンスしたリポジトリが測っているのは、モデルとスキャフォールド、IDEの慣習をまとめたワークフロー全体になる。同じ重みでも別のスキャフォールドに載せれば、結果はまったく違う場所に着地しうる。
この市場が広がるとみられる理由
AIコーディングアシスタントを買う側には、リーダーボードの数字が自社システムでも通用するか確かめる手立てが乏しく、売る側にはそれを確かめるテストを作る動機がない。非公開コードに対価を払う独立した第三者はその間に位置する。公開ベンチマークが混み合うほど、その位置の価値は上がる。AnthropicもOpenAIもGoogleもこのリーダーボードにモデルを載せているが、背後のデータを握っているところはない。
留保すべき点もはっきりしている。10タスクは小さな標本で、この試み自体が公開ベンチマークは汚染で水増しされていると証明するわけではない。ライセンス方式は、契約を負担できる側に評価の力を集中させもする。外部から中身を検分できないベンチマークは、公開データセットとは別種の信頼を求める。手法だけ公開して結果を出さなかった最近の別のエージェントベンチマークにも、同じ緊張が見える。
よくある質問
企業はなぜ非公開ソースコードをライセンスするのか
非公開コードは一度も公開されていないというまさにその理由で、評価企業にとって価値がある。モデルの学習データに流入しようがないからだ。評価企業が対価を払う対象はその希少性であり、ライセンスした側はオープンソース化せずに報酬を得る。
Real-SWEはライセンスしたコードを公開するのか
公開しない。コードと参照解法を非公開に保つことがこのベンチマークの前提だ。Specific Labsはリポジトリではなく、タスクの説明とスコアを公開している。
Real-SWEで最も高いスコアを出したモデルは
Claude Codeを通したClaude Fable 5.1が38.8%で1位、Codex CLIのGPT-6 Astraが33.8%、Gemini CLIのGemini 3.8 Flashが31.2%と続いた。テストしたすべてのシステムが、タスクの過半を解けずに終わっている。
