Qwenの重み直接編集で数学29ポイント上昇 大型は効果薄
上海人工知能実験室、同済大学、復旦大学の研究チームは11月6日投稿のプレプリントで、GPT-6 AstraがQwen3.5-0.8Bの重みを直接編集しMATH-500正答率を29.45ポイント高めたと報告した。Qwen3.5-9Bでは効果が小さく、16回中6回は元の重みを維持した。
上海人工知能実験室と同済大学、復旦大学の研究チームは11月6日、GPT-6 Astraに小型のQwenモデルの重みを直接編集させたところ、MATH-500の正答率が29.45ポイント上がったとする論文をarXivに投稿した。一方、大きなモデルでは効果が大幅に縮小し、16回の編集のうち6回は元の重みを維持して終わった。
論文名は「Exploring Weight-Space Programming: Capabilities, Generalization, and Limitations」である。MIT CSAILの研究者が11月2日に発表した「重み空間プログラミング」を、複数のベンチマークとモデル規模で検証した。査読前のプレプリントである。
要点
- Qwen3.5-0.8Bの1列で1,023個の値を変えただけで、MATH-500のテストセット正答率が8.35%から37.80%に上がった。
- より高性能なQwen3.5-9Bでは、採用された編集の上昇幅は1.54〜3.03ポイントにとどまり、7回中4回は元の重みに戻した。
- 同じ数学課題を3回別々に探索すると構造の異なる編集が見つかり、最大の効果を出したのは1回だけだった。
重み空間プログラミングとは
モデルの調整は通常、勾配を使った学習でパラメーターを更新して行う。重み空間プログラミングでは、推論モデルがパラメーターを読み、修正を直接書き込む。今回の実験でGPT-6 Astraは最大の推論強度で動作し、探索1回あたりモデル実行要求50回とPythonによる分析最大300回を使えたが、勾配やオプティマイザーは使っていない。最終的なチェックポイントは開発用データだけで選んだ。
研究チームはアリババのQwen3.5の0.8Bと9Bの2モデル、7種類のベンチマークで16の編集軌跡を実行した。
Qwenの重み編集 ベンチマーク別の結果
| モデル | ベンチマーク | 元 | 編集後 | 変化（ポイント） |
|---|---|---|---|---|
| 0.8B | MATH-500 | 8.35 | 37.80 | +29.45 |
| 0.8B | IFEval | 21.40 | 58.12 | +36.72 |
| 0.8B | SciBench | 1.38 | 18.49 | +17.11 |
| 0.8B | GPQA Diamond | 25.25 | 29.67 | +4.42 |
| 9B | IFEval | 89.30 | 91.14 | +1.84 |
| 9B | SciBench | 72.46 | 75.49 | +3.03 |
| 9B | SciCode | 1.54 | 3.08 | +1.54 |
数学で最大の効果を出した編集は、第23層のMLP射影の1列に対するもので、1,024個の値のうち1,023個が変わった。同じ課題の再実行2回はそれぞれ1,037,572個、1,981,083個を変えたが、上昇幅はより小さかった。研究チームは、変更した値の数だけでは効果を予測できないとしている。
大きなモデルで効果が小さい理由
Qwen3.5-9Bは編集前にMATH-500で97.70%に達しており、伸びしろが小さかった。数学の編集候補は開発段階で54.69%から84.38%に上がったものの、テストセットでは97.35%に下がり、Astraは元の重みを維持した。
元の重みを維持して終わった6回の内訳は、0.8Bモデルが2回、9Bモデルが4回である。研究チームは、開発段階の数値は適応的に選ばれており、多重比較の補正をしていないと説明している。
一つの編集がほかの能力にも波及
数学向けに編集した0.8Bのチェックポイントは、追加の変更なしでGPQA Diamondが3.03ポイント、IFEvalが12.18ポイント、SciBenchが20.10ポイント上がった。SciBenchは21.48%となり、SciBenchを狙った編集の18.49%を上回った。SciCodeは変化せず、転移によっては性能が低下した例もあった。
MITの結果との比較
MIT CSAILの投稿は、Astraが131,072個の重みを変更し、同じ0.8BモデルのMATH-500を7.9%から48.1%に上げたと報告している。主に推論のループを解消した効果である。今回の論文の基準値は8.35%であり、両者を単純には比較できない。論文は、明確な欠陥のないモデルではMITチームの成果も限定的だったと指摘している。
今後の見通し
研究チームは、編集が成功する仕組みは未解明で、長時間の推論や複雑なエージェント課題では体系的に評価していないとしている。論文とあわせてプロジェクトページとGitHubリポジトリを公開した。
FAQ
重みの直接編集はファインチューニングに代わるのか。
今回の研究からはそう言えない。性能の低い小型モデルでは効果が大きかったが、高性能なモデルでは小さいか、効果がなかった。
練習問題への過剰適合ではないのか。
報告された上昇幅は、編集モデルが見ていないテストセットでの数値である。ただし試行ごとの差は大きかった。
参考資料
- Exploring Weight-Space Programming: Capabilities, Generalization, and Limitations — Hu他、arXiv（2026年11月6日投稿）
- Exploring Weight-Space Programming: Capabilities, Generalization, and Limitations（全文） — arXiv HTML
- Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights — Takehi、Teoh、Zhang、Khattab、MIT CSAIL（2026年11月2日）
- Exploring Weight-Space Programming — プロジェクトページ
コメント 0
現在コメントの投稿は無効になっています。