Allen Institute for AI 開源了 AstaBrief-8B。這款模型接收研究問題與檢索到的文獻摘錄,一次推論就寫出附有完整引用的研究報告。它已經在驅動該機構科學研究代理平台 Asta 的全新 Fast 模式,而 Ai2 仍保留由 Claude 驅動的 Thinking 模式,用於負擔較重的任務。
重點摘要
- AstaBrief-8B 以 Apache 2.0 授權釋出,基礎模型為 Qwen3-8B。監督式微調與偏好學習所用的資料集,也隨權重一併公開。
- 就整條 Asta 流程測量,Fast 模式每篇報告平均耗時 51.1 秒,相較 Claude 版 Thinking 模式的 178.5 秒快約 3.5 倍。
- 在 SQABench-CS2 測試切分上,它在與 Asta ScholarQA 的報告比較評判中勝出 72%;但在 DeepScholarBench 只拿到 53.50 分,低於 ScholarQA 的 60.25 分。
單次生成流程如何縮短報告時間
Ai2 原有的報告生成器 ScholarQA 分階段運作:先檢索文獻,再把取得的片段摘要並分群,接著把素材整理成章節,最後逐節撰寫報告。AstaBrief 直接略過摘要與分群兩個階段,只憑問題與原始摘錄一次寫完整份文件。
Ai2 表示,原先預期這條捷徑要以品質為代價,結果並沒有。最醒目的成果是速度:端到端測量下,Fast 模式平均 51.1 秒回傳一份報告,Thinking 模式則需要 178.5 秒。
Ai2 為何不用強化學習
這套訓練配方刻意避開強化學習。該機構先前已用 DR Tulu 證明,強化學習能改善開放權重模型的長文報告生成。但這次他們改採監督式微調搭配直接偏好最佳化(DPO),理由是強化學習的訓練過程不穩定、成本高,也更難除錯。
於是專案的重心轉向資料整理。團隊把真實的 Asta 查詢依長度、語言、科學相關性與是否含個人資訊加以過濾,留下 9 萬則研究問題。報告標準答案則透過 ScholarQA 流程,混用 Claude 3.5 Sonnet、Claude 3.7 Sonnet、o3、o4-mini 與 GPT-4.1 生成,得到 4 萬 7000 筆可用的微調樣本。偏好學習階段由 GPT-4.1 與 DeepSeek-R1 評判互相競爭的報告,只保留兩位評判者意見一致的配對,最後剩下約 6000 筆。Ai2 指出,這兩位評判者與人類偏好的一致率達 95%。
在合成訓練報告上測試的四種統計過濾條件中,效果最明確的是引用密度,也就是至少帶一個引用的敘述所佔比例。更激進的過濾條件與多重條件組合,並未帶來有意義的額外提升。
強在哪裡,又輸在哪裡
在 SQABench-CS2 測試集上,模型卡記載 AstaBrief-8B 的平均分為 87 分,僅做微調的檢查點為 83.7 分,基礎模型 Qwen3-8B 為 77.3 分。變化最大的指標是引用召回率,從基礎模型的 64.6 提升到 78.2。
面對更強的系統,結果就不一致了。AstaBrief 在與 Asta ScholarQA 的評判比較中,dev 切分勝出 55%、測試切分勝出 72%,優於 DR-Tulu-8B 的 36% 與 54%。但在 DeepScholarBench 上只有 53.50 分,低於 DR-Tulu-8B 的 56.26 分與 ScholarQA 的 60.25 分。另一項涵蓋 14 道問題的人類評估中,三位研究人員在整體偏好上把 DR Tulu 排在第一,其中兩人則認為 AstaBrief 的引用準確度最佳。
Ai2 附上了一個不尋常的說明:訓練與評估大多在 2025 年完成,並未針對當前的前沿模型重跑比較。因此這些數字更適合當作訓練方法與系統設計的證據,而不是這個基礎模型今日位置的佐證。
開放權重為研究機構帶來什麼改變
在這個使用情境裡,授權條款很關鍵。研究問題本身往往就會洩漏未發表的成果或敏感工作。採用開放權重,機構就能在自有硬體上執行報告生成,不必把查詢送往專有 API。Ai2 也提供了一套範例工作流程,讓使用者從自己的 PDF 生成報告。
Asta 內部的早期採用規模不大,但黏著度不低。在試用 Fast 模式的 374 位使用者中,29.1% 使用超過兩天,平均生成 3.67 條報告對話串。23% 再也沒切回 Thinking 模式,另有 18% 交替使用,約 40% 的對話串交給 Fast 模式處理。正面回饋比例為 84.2%,接近 Thinking 模式的 85.2%。
展望
Ai2 列出的下一步包括更細緻的偏好學習、檢索增強生成與強化學習更強的結合、多輪與多工具能力,以及問題拆解。該機構也希望改變評估方式:不只檢查某項主張是否附有引用,而要追問模型是否保住了出處的證據範圍,有沒有悄悄把僅限特定樣本的發現改寫成廣泛的一般化結論。這項成果與 Intern-S2-Preview 同屬打造研究專用模型的浪潮,Ai2 表示這次在資料與出處歸屬上學到的經驗,將用於後續版本的 Olmo。
FAQ 常見問題
AstaBrief-8B 是開源的嗎?
權重以 Apache 2.0 授權釋出,基礎模型為 Qwen3-8B。Ai2 也公開了訓練所用的微調與偏好資料集,並表示依其負責任使用準則,這款模型設定用於研究與教育用途。
它贏得過 Claude 驅動的流程嗎?
並非全面勝出。在 SQABench-CS2 的切分上,它在與 Asta ScholarQA 的正面評判比較中多數勝出,但 DeepScholarBench 分數較低,在 Ai2 的小規模人類評估中也在整體偏好上落敗。Ai2 的主張是:它維持了相當的品質,同時速度快上數倍。
它用什麼資料訓練?
從 Qwen3-8B 出發,先以 ScholarQA 流程中由專有模型生成的 4 萬 7000 份報告進行監督式微調,再用約 6000 組經過評判的報告配對做直接偏好最佳化。偏好學習階段在 Ai2 的 open-instruct 框架上、以 8 張 H100 GPU 執行。






