Ai2 開源 8B 模型,把附引用研究報告的生成時間壓到 51 秒

AstaBrief-8B 不再逐節撰寫,而是一次寫完整篇科學報告 — Ai2 表示品質並未因此下降

文||更新 |5分鐘閱讀0
A university library reading room — the literature-synthesis work Ai2's open-weights AstaBrief-8B is built to compress into a single cited report.
A university library reading room — the literature-synthesis work Ai2's open-weights AstaBrief-8B is built to compress into a single cited report.

Allen Institute for AI 開源了 AstaBrief-8B。這款模型接收研究問題與檢索到的文獻摘錄,一次推論就寫出附有完整引用的研究報告。它已經在驅動該機構科學研究代理平台 Asta 的全新 Fast 模式,而 Ai2 仍保留由 Claude 驅動的 Thinking 模式,用於負擔較重的任務。

重點摘要

  • AstaBrief-8B 以 Apache 2.0 授權釋出,基礎模型為 Qwen3-8B。監督式微調與偏好學習所用的資料集,也隨權重一併公開。
  • 就整條 Asta 流程測量,Fast 模式每篇報告平均耗時 51.1 秒,相較 Claude 版 Thinking 模式的 178.5 秒快約 3.5 倍。
  • 在 SQABench-CS2 測試切分上,它在與 Asta ScholarQA 的報告比較評判中勝出 72%;但在 DeepScholarBench 只拿到 53.50 分,低於 ScholarQA 的 60.25 分。

單次生成流程如何縮短報告時間

Ai2 原有的報告生成器 ScholarQA 分階段運作:先檢索文獻,再把取得的片段摘要並分群,接著把素材整理成章節,最後逐節撰寫報告。AstaBrief 直接略過摘要與分群兩個階段,只憑問題與原始摘錄一次寫完整份文件。

Ai2 表示,原先預期這條捷徑要以品質為代價,結果並沒有。最醒目的成果是速度:端到端測量下,Fast 模式平均 51.1 秒回傳一份報告,Thinking 模式則需要 178.5 秒。

Ai2 為何不用強化學習

這套訓練配方刻意避開強化學習。該機構先前已用 DR Tulu 證明,強化學習能改善開放權重模型的長文報告生成。但這次他們改採監督式微調搭配直接偏好最佳化(DPO),理由是強化學習的訓練過程不穩定、成本高,也更難除錯。

於是專案的重心轉向資料整理。團隊把真實的 Asta 查詢依長度、語言、科學相關性與是否含個人資訊加以過濾,留下 9 萬則研究問題。報告標準答案則透過 ScholarQA 流程,混用 Claude 3.5 Sonnet、Claude 3.7 Sonnet、o3、o4-mini 與 GPT-4.1 生成,得到 4 萬 7000 筆可用的微調樣本。偏好學習階段由 GPT-4.1 與 DeepSeek-R1 評判互相競爭的報告,只保留兩位評判者意見一致的配對,最後剩下約 6000 筆。Ai2 指出,這兩位評判者與人類偏好的一致率達 95%。

在合成訓練報告上測試的四種統計過濾條件中,效果最明確的是引用密度,也就是至少帶一個引用的敘述所佔比例。更激進的過濾條件與多重條件組合,並未帶來有意義的額外提升。

強在哪裡,又輸在哪裡

在 SQABench-CS2 測試集上,模型卡記載 AstaBrief-8B 的平均分為 87 分,僅做微調的檢查點為 83.7 分,基礎模型 Qwen3-8B 為 77.3 分。變化最大的指標是引用召回率,從基礎模型的 64.6 提升到 78.2。

面對更強的系統,結果就不一致了。AstaBrief 在與 Asta ScholarQA 的評判比較中,dev 切分勝出 55%、測試切分勝出 72%,優於 DR-Tulu-8B 的 36% 與 54%。但在 DeepScholarBench 上只有 53.50 分,低於 DR-Tulu-8B 的 56.26 分與 ScholarQA 的 60.25 分。另一項涵蓋 14 道問題的人類評估中,三位研究人員在整體偏好上把 DR Tulu 排在第一,其中兩人則認為 AstaBrief 的引用準確度最佳。

Ai2 附上了一個不尋常的說明:訓練與評估大多在 2025 年完成,並未針對當前的前沿模型重跑比較。因此這些數字更適合當作訓練方法與系統設計的證據,而不是這個基礎模型今日位置的佐證。

開放權重為研究機構帶來什麼改變

在這個使用情境裡,授權條款很關鍵。研究問題本身往往就會洩漏未發表的成果或敏感工作。採用開放權重,機構就能在自有硬體上執行報告生成,不必把查詢送往專有 API。Ai2 也提供了一套範例工作流程,讓使用者從自己的 PDF 生成報告。

Asta 內部的早期採用規模不大,但黏著度不低。在試用 Fast 模式的 374 位使用者中,29.1% 使用超過兩天,平均生成 3.67 條報告對話串。23% 再也沒切回 Thinking 模式,另有 18% 交替使用,約 40% 的對話串交給 Fast 模式處理。正面回饋比例為 84.2%,接近 Thinking 模式的 85.2%。

展望

Ai2 列出的下一步包括更細緻的偏好學習、檢索增強生成與強化學習更強的結合、多輪與多工具能力,以及問題拆解。該機構也希望改變評估方式:不只檢查某項主張是否附有引用,而要追問模型是否保住了出處的證據範圍,有沒有悄悄把僅限特定樣本的發現改寫成廣泛的一般化結論。這項成果與 Intern-S2-Preview 同屬打造研究專用模型的浪潮,Ai2 表示這次在資料與出處歸屬上學到的經驗,將用於後續版本的 Olmo。

FAQ 常見問題

AstaBrief-8B 是開源的嗎?

權重以 Apache 2.0 授權釋出,基礎模型為 Qwen3-8B。Ai2 也公開了訓練所用的微調與偏好資料集,並表示依其負責任使用準則,這款模型設定用於研究與教育用途。

它贏得過 Claude 驅動的流程嗎?

並非全面勝出。在 SQABench-CS2 的切分上,它在與 Asta ScholarQA 的正面評判比較中多數勝出,但 DeepScholarBench 分數較低,在 Ai2 的小規模人類評估中也在整體偏好上落敗。Ai2 的主張是:它維持了相當的品質,同時速度快上數倍。

它用什麼資料訓練?

從 Qwen3-8B 出發,先以 ScholarQA 流程中由專有模型生成的 4 萬 7000 份報告進行監督式微調,再用約 6000 組經過評判的報告配對做直接偏好最佳化。偏好學習階段在 Ai2 的 open-instruct 框架上、以 8 張 H100 GPU 執行。

對這篇文章有什麼感想?

SJ
載入中...

相關文章

950個Claude代理程式21小時篩過20萬個酵素,找出一套類CRISPR系統
AI & ML

950個Claude代理程式21小時篩過20萬個酵素,找出一套類CRISPR系統

Anthropic週三表示,Claude自主在噬菌體DNA中辨識出一套先前未被描述的酵素系統。公司將這項發現以預印本形式發表,同時揭曉內部生命科學研究團隊與實驗室。

Seung Jung24 天前
Holo4 最強電腦操作模型開放權重,但不准商用
AI & ML

Holo4 最強電腦操作模型開放權重,但不准商用

H Company 的 Holo4 27B 在自家公布的每一項基準測試都居首,權重卻限定非商業用途。採用 Apache 2.0 的兄弟模型,在長流程任務上只拿到一半分數。

Seung Jung19 天前
Qwen-Image-2.1 用 70 億參數裝下透明圖層編輯,授權條款卻擋住商業使用
AI & ML

Qwen-Image-2.1 用 70 億參數裝下透明圖層編輯,授權條款卻擋住商業使用

阿里巴巴 Qwen 團隊推出 70 億參數的圖像生成與編輯統一模型,具備原生透明度與最多 10 張參考圖合成,但採用僅限研究的授權。

Seung Jung27 天前
小米 MiMo-V2.6-Pro 登上開放權重第一,而上一代在 DeepSWE 只拿了 19 分
AI & ML

小米 MiMo-V2.6-Pro 登上開放權重第一,而上一代在 DeepSWE 只拿了 19 分

小米以 MIT 授權釋出 MiMo-V2.6-Pro 權重,Artificial Analysis 指數 46 分,為開放模型最高。上一代 DeepSWE 只有 19.0,這一代來到 71.9。

Seung Jung26 天前
300萬美元的嘗試沒做到的事,16張GPU的西洋軍棋AI做到了
AI & ML

300萬美元的嘗試沒做到的事,16張GPU的西洋軍棋AI做到了

本週刊於《Nature》的論文,核心數字不是勝敗紀錄,而是價格。一個名為Ataraxos的代理人用16張GPU跑了一週,就達到作者所說的「遠超人類」西洋軍棋水準。

Seung Jung15 天前
1,024個代理、沒有協調者:最後那896個只值4.12分
AI & ML

1,024個代理、沒有協調者:最後那896個只值4.12分

Microsoft研究團隊發表了一套多代理程式開發框架,把對手最先動手打造的那個零件——協調者——直接刪掉。在Agensh裡,每個工作者跑的是同一個迴圈。

Seung Jung20 天前