Allen Institute for AIがAstaBrief-8Bをオープンソースとして公開した。研究上の問いと検索された文献の抜粋を受け取り、引用まで付いたレポートを一度の推論で書き上げるモデルである。すでに同研究所の科学研究向けエージェント基盤Astaの新しいFastモードを動かしており、Ai2はより重い作業向けにClaudeベースのThinkingモードを併存させる。
要点
- AstaBrief-8BはApache 2.0で公開され、Qwen3-8Bを基盤とする。教師ありファインチューニングと選好学習に用いたデータセットも重みと同時に公開された。
- Astaのパイプライン全体で測ると、Fastモードはレポート1件あたり平均51.1秒。ClaudeベースのThinkingモードの178.5秒に対し、約3.5倍速い。
- SQABench-CS2のテスト分割では、Asta ScholarQAとのレポート比較判定の72%で勝った。一方DeepScholarBenchでは53.50点で、ScholarQAの60.25点に届かなかった。
単一パスのパイプラインが時間を削った仕組み
Ai2の既存レポート生成器ScholarQAは段階を分けて動く。文献を検索し、取得した断片を要約してクラスタリングし、素材をセクションに整理したうえで、セクション単位でレポートを書く。AstaBriefは要約とクラスタリングの段階をそのまま飛ばし、問いと生の抜粋だけから文書全体を一度に書き上げる。
Ai2は、この近道の代償を品質で払うと見込んでいたが、そうはならなかったとしている。最も目立つ成果は速度だ。端から端まで計測すると、Fastモードは平均51.1秒でレポートを返す。Thinkingモードは178.5秒かかる。
Ai2が強化学習を使わなかった理由
今回のレシピは強化学習を意図的に避けている。同研究所はDR Tuluで、強化学習がオープンウェイトモデルの長文レポート生成を改善しうることを示していた。それでも今回は教師ありファインチューニングと直接選好最適化(DPO)の組み合わせを選んだ。強化学習の学習実行は不安定でコストが高く、デバッグも難しいという判断である。
その結果、プロジェクトの重心はデータ整備に移った。実際のAstaへの問いを長さ・言語・科学的関連性・個人情報の有無で絞り込み、9万件の研究課題を残した。レポートの正解データはScholarQAのパイプライン上でClaude 3.5 Sonnet、Claude 3.7 Sonnet、o3、o4-mini、GPT-4.1を混在させて生成し、使用可能なファインチューニング例4万7000件を得た。選好学習の段階ではGPT-4.1とDeepSeek-R1が競合するレポートを判定し、両者の判断が一致した組だけを残して約6000件を確保した。Ai2によれば、この2つの判定者と人間の選好は95%一致した。
合成学習レポートに試した4つの統計フィルタのうち、最も明確な改善をもたらしたのは引用密度、すなわち少なくとも1つの引用を伴う記述の比率だった。より強いフィルタリングやフィルタの組み合わせは、意味のある上積みを生まなかった。
勝てる領域と勝てない領域
SQABench-CS2のテストセットでは、モデルカードがAstaBrief-8Bの平均を87点としている。ファインチューニングのみのチェックポイントは83.7点、基盤のQwen3-8Bは77.3点である。最も大きく動いた指標は引用再現率で、基盤モデルの64.6から78.2に上がった。
より強いシステムと比べると評価は分かれる。AstaBriefはAsta ScholarQAとの判定比較でdev分割55%、テスト分割72%を勝ち取り、DR-Tulu-8Bの36%・54%を上回った。しかしDeepScholarBenchでは53.50点にとどまり、DR-Tulu-8Bの56.26点、ScholarQAの60.25点のいずれにも及ばなかった。別途実施した14問の人間評価では、研究者3人が総合的な好みでDR Tuluを最上位に置き、そのうち2人は引用の正確さでAstaBriefを首位に挙げた。
Ai2は異例の注記を添えている。学習と評価の大半は2025年に終わっており、現行のフロンティアモデルとの比較は再実行していない。したがってこれらの数値は、この基盤モデルの現在位置ではなく、学習手法とシステム設計に関する根拠として読むのが適切だという。
オープンウェイトが研究機関にもたらす変化
この用途ではライセンスが効いてくる。研究上の問いそれ自体が未発表の研究や機微な作業を露呈させることが多い。オープンウェイトであれば、機関は問いを外部の商用APIへ送る代わりに、自前のハードウェアでレポート生成を動かせる。Ai2は利用者自身のPDFからレポートを作る例示ワークフローも提供する。
Asta内部での初期利用は規模こそ小さいが定着している。Fastモードを試した374人のうち29.1%が2日以上使い、平均3.67本のレポートスレッドを生成した。23%はThinkingモードに戻らず、別の18%は両モードを使い分けて全スレッドの約40%をFastモードで処理した。肯定的な評価の比率は84.2%で、Thinkingモードの85.2%に迫った。
展望
Ai2は次の課題として、より粒度の細かい選好学習、検索拡張生成と強化学習のより強い組み合わせ、マルチターン・マルチツール対応、問いの分解を挙げた。評価のあり方も変えたいとしている。主張に引用が付いているかを確かめる水準を超え、モデルが出典の証拠範囲を保っているか、標本に限定された知見を静かに広範な一般化にすり替えていないかを問う評価が必要だという。今回の成果はIntern-S2-Previewと同じく研究専用モデルへ向かう流れの中にあり、Ai2はここで得たデータと出典帰属の知見を今後のOlmoに反映させるとしている。
FAQ よくある質問
AstaBrief-8Bはオープンソースなのか
重みはApache 2.0で公開され、Qwen3-8Bを基盤としている。Ai2は学習に用いたファインチューニングと選好のデータセットも公開した。ただし利用範囲については、責任ある利用のガイドラインに沿った研究・教育目的を想定しているとしている。
Claudeベースのパイプラインを上回るのか
全面的にではない。SQABench-CS2の分割ではAsta ScholarQAとの直接比較判定の多くで勝ったが、DeepScholarBenchのスコアは低く、Ai2の小規模な人間評価では総合的な好みで負けた。Ai2の主張は、品質を同程度に保ちながら数倍速く動くという点にある。
何で学習したのか
Qwen3-8Bから出発し、ScholarQAのパイプラインで商用モデルが生成したレポート4万7000件に教師ありファインチューニングを施した。続いて判定済みのレポート対約6000件で直接選好最適化を行った。選好学習の段階はAi2のopen-instructフレームワーク上、H100 GPU 8基で実行された。
