GPT-6 Astra、学習なしでQwenの重みを編集 数学48%に
MIT CSAILの研究チームは11月2日、オープンAIのGPT-6 Astraが学習を行わずにQwen3.5-0.8Bの重みの0.016%を直接編集し、MATH-500の正答率を7.9%から48.1%に高めたと発表した。出力ループの欠陥を取り除いた効果で、同じ手法はGemma 3 270Mでは通用しなかった。
米マサチューセッツ工科大学（MIT）のコンピューター科学・人工知能研究所（CSAIL）の研究者4人は11月2日（現地時間）、オープンAIの「GPT-6 Astra」が小型ニューラルネットワークの重みを直接読み取り、書き換えられるとする実験結果を公表した。勾配降下法も追加学習も使わず、アリババの「Qwen3.5-0.8B」の重みの0.016%を編集しただけで、数学ベンチマーク「MATH-500」の正答率が7.9%から48.1%に上がったという。
研究者はRikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattabの4氏である。成果は査読論文ではなく、「Sparks of Weight-Space Programming」と題したブログ記事として発表され、実験ログとコードはGitHubで公開された。
ポイント
- GPT-6 AstraはQwen3.5-0.8Bの出力ループの原因を2つの層の特定の方向に突き止め、13万1072個の重みから取り除いた。MATH-500は7.9%から48.1%、GSM8Kは13.8%から67.1%に向上した。
- 重みをすべて0にした状態からAstraが書いた「ブレイクアウト」用ネットワークは517.4点を記録した。PPOで5億ステップ学習したネットワークは25.3点だった。
- 研究チーム自身が「ごく初期」の結果だと認めている。ループの欠陥がないモデルではほとんど効果がなく、重みだけでは迎合的なモデルを見抜けなかった。
「重み空間プログラミング」とは
ニューラルネットワークは通常、オプティマイザーが膨大な数値を誤差が小さくなる方向へ少しずつ調整して作られる。研究チームはこの工程を使わず、汎用の言語モデルに自然言語で目標を与え、重みを直接読み書きさせた。
GitHubリポジトリの説明によると、使用したモデルは「gpt-6-astra」で、オープンAIの「Codex CLI」で組み込みツールを無効にして実行した。一部の実験では、ネットワークを実際に動かして結果を確かめる「順伝播」の機会を少しだけ与えた。Qwenの実験では、順伝播1回は練習問題最大512問への回答を意味する。
GPT-6 AstraはQwenをどう改善したか
思考モードを有効にした元のQwenは、回答の93%がループに陥り、出力上限の3万2768トークンに達していた。Astraはその原因を第15層と第19層のMLPブロックが書き込む1つの方向に特定し、各層の出力列64本からその方向を差し引いた。
| 項目 | 編集前 | 編集後 |
|---|---|---|
| MATH-500 | 7.9% | 48.1% |
| GSM8K | 13.8% | 67.1% |
| IFEval | 21.0% | 62.3% |
| トークン上限に達した回答の割合 | 93.0% | 33.1% |
同じ手法はグーグルの「Gemma 3 270M」では通用せず、MATH-500は6.8%から最高でも7.7%にとどまった。このモデルはもともとトークン上限に達する回答が8.5%しかなかった。研究チームは「重みの編集は能力を隠していた障害を取り除けるが、モデルにない能力を加えることはできなかった」と記している。
ゼロから書いたネットワーク
別の実験では、Astraはゲームのルールとソースコードだけを受け取り、重みゼロの状態からゲーム用の小型ネットワークを書いた。一度で書いたブレイクアウト用は517.4点だった。一方、シークエスト（53.1点）とアステリックス（53.2点）では、5億ステップのPPOネットワーク（88.9点、55.2点）を下回った。
坂道で止まってしまう自動車の制御ネットワークは、重みの3.5%を1回編集して解決した。成功回数は256回中0回から、1024回中1024回に変わった。
研究チームが認める限界
Astraは4つのゲーム用ネットワークがどのゲームのものかを重みだけですべて言い当てた。しかし、同じ条件で微調整した2つのGemmaモデルのうち迎合的な方を選ぶ課題では、重みだけでは4回とも失敗した。アテンションのパターンを見た後で、ようやく3組すべてを正しく見分けた。
研究チームは能力について「興味深いが、まだ限られている」と評価している。実験に使った最大のモデルも8億パラメーター規模だった。
今後の見通し
研究チームは重み空間プログラミング用のベンチマークと実験環境を開発中だという。隠れたバックドアの検査やデータを使わないアンラーニングなどを今後の方向性に挙げた。11月3日時点で、より大きなモデルでの独立した再現の報告はない。
よくある質問
GPT-6 AstraはQwenを再学習させたのか。
そうではない。学習を行わず、13万1072個の重みを直接分析して書き換えた。
この手法でどのモデルでも賢くなるのか。
現時点の根拠ではそうとは言えない。性能向上はループの欠陥を除いた結果であり、その欠陥がないGemmaモデルでは意味のある改善はなかった。
参考資料
- Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights — Takehi, Teoh, Zhang, Khattab, MIT CSAIL（2026年11月2日）
- RikiyaT/lm_understand-logs — GitHub（2026年11月3日閲覧）
- MIT Researchers Show GPT-6 Astra Can Rewrite Another AI's Brain Without Training It — Startup Fortune（2026年11月3日）
.jpg){kind=link}
コメント 0
現在コメントの投稿は無効になっています。