一家使用者超過20萬的消費產品公司，和一家處理過10萬份以上銀行流水的金融科技平臺，對自家非公開程式碼庫做出了一個不尋常的決定：把它授權給一家評測公司。獲Y Combinator投資的Specific Labs把這些程式碼庫彙集成Real-SWE，專有程式碼由此成了AI行業開始花錢購買的商品。
要點速覽
- Specific Labs沒有去爬開源專案，而是從在營企業手中獲得生產環境程式碼庫的授權，拿到了任何模型都不可能在預訓練階段讀過的評測素材。
- 該公司估計，真實企業內部的token有99%對前沿模型不可見，授權市場正是為填補這一供給缺口而存在。
- 驗證器只在評分環節注入，取自各程式碼庫已有的測試套件，因此授權合同必須同時覆蓋程式碼與測試。
其中的經濟邏輯說穿了並不複雜。公開的評測素材有保質期，因為凡是釋出出去的東西最終都會進入訓練語料，從那一刻起就再也分不清記憶與推理。非公開程式碼沒有這種折舊，但它有主人，要拿到手靠的是談判而不是爬蟲。
一份授權的程式碼庫必須包含什麼
只拿到原始碼訪問權還建不成評測。Specific Labs讓每個智慧體在隔離沙箱中執行，任務以Harbor格式儲存，並在評分時注入驗證器——這些驗證器或受程式碼庫現有測試啟發，或直接照搬。因此一份可用的授權要覆蓋程式碼庫、測試套件，以及讓任務貼近真實的issue歷史。
由此產生的任務與精心設計的謎題毫無相似之處。其中一項要把每張發票送入企業自有的稅務模式，包括經由稅務機關服務商完成的目的地計價。另一項要把商品與用量的歸屬從服務側遷到客戶側，同時不破壞既有的讀取邏輯。第三項要發現所有已啟用的AWS區域並掃描塊儲存清單，且不能因為單個區域失敗而拖垮全部。
每家公司都有自己的規則和寫程式碼的方式。智慧體必須理解這些慣例，並做出能與既有程式碼協同運轉的改動。
改動範圍也隨之而來。Real-SWE的解法平均觸及11個檔案（中位數），接近FrontierCode、DeepSWE等公開測試集6個檔案中位數的兩倍。能改變業務運轉方式的改動，很少停留在單個服務內部。
授權資料揭示了什麼
首批結果給了授權方可以拿出來講的東西。在Claude Code中執行的Claude Fable 5.1以38.8%領先，Codex CLI上的GPT-6 Astra為33.8%，Gemini CLI上的Gemini 3.8 Flash為31.2%。解決率為每項任務獨立執行8次取平均的pass@1，並附95%置信區間。
對任何考慮類似交易的一方來說，關鍵在於這些分數繫結的是一整套執行環境，而不只是模型。Real-SWE讓每個系統搭配自家原生工具受測，因為企業工程師就是這麼幹活的。這意味著被授權的程式碼庫衡量的是整條工作流——模型、腳手架與IDE慣例合在一起。同樣的權重換一套腳手架，結果可能落在完全不同的位置。
這個市場為何可能繼續擴大
購買AI程式設計助手的一方，幾乎無從判斷排行榜數字放到自家系統上還能不能成立；而供應商也沒有動力去做那個能給出答案的測試。一個付費購買非公開程式碼的獨立第三方恰好卡在中間，公開基準越擁擠，這個位置就越值錢。Anthropic、OpenAI和Google都有模型登上這份榜單，但沒有一家掌握榜單背後的資料。
需要保留的地方同樣真實。10項任務是很小的樣本，這次嘗試本身也不能證明公開基準因資料汙染而虛高。授權模式還會把評測權力集中到付得起交易費用的一方手中，而一個外界無法檢視內容的基準，要求的是與開放資料集不同的另一種信任。只公佈方法卻不給結果的近期另一項智慧體基準，也能看到同樣的張力。
常見問題
企業為什麼要授權自己的非公開原始碼？
非公開程式碼對評測方有價值，恰恰因為它從未釋出過，不可能洩漏進模型訓練資料。評測公司付費買的就是這份稀缺性，而授權方不必開源就能拿到報酬。
Real-SWE會公開它授權來的程式碼嗎？
不會。程式碼及其參考解法都不公開，這正是該基準的立身之本。Specific Labs公佈的是任務描述與分數，而非底層程式碼庫。
哪個模型在Real-SWE上得分最高？
通過Claude Code執行的Claude Fable 5.1以38.8%居首，領先Codex CLI上的GPT-6 Astra（33.8%）和Gemini CLI上的Gemini 3.8 Flash（31.2%）。所有受測系統都未能解決過半任務。
