Qwen再学習で中国寄り回答22%→0.9% 米ノウス
ノウス・リサーチは11月6日、アリババのQwen3.8-27Bを追加学習したArete-27Bを公開した。独自の803問評価で、中国当局の主張に沿う回答は22%から0.9%に減り、事実スコアは2.32から2.98に上昇した。重み・評価・学習データは公開済みである。
米AI研究企業ノウス・リサーチ(Nous Research)は11月6日、アリババのオープンウェイトモデルQwen3.8-27Bを追加学習した「Arete-27B」を公開した。同社が独自に作成した803問の評価で、中国当局の主張に沿う回答の割合が22%から0.9%に下がったと公式ブログで説明している。重み、評価セット、学習データは公開されたが、第三者による再現結果はまだ出ていない。
要点
- ノウスによると、事実スコアは5点満点で2.32から2.98に上昇し、プロパガンダを含む回答は22%から0.9%に減った。
- 強化学習や構造変更は行わず、約5280万トークンの教師ありファインチューニングを2エポック実施した。
- 評価の設計と採点モデル(Grok 4.7)の選定はノウス自身によるもので、数値は自己申告である。評価セットは誰でも再実行できる。
中国製AIの偏りをどう測ったか
公開されたPropaganda_Evalは、表現の自由、民主主義、データプライバシーと監視など7分野の803問で構成される。各問には出典文書から抽出した必須事実が2~4件付く。
採点はxAIのGrok 4.7が担当した。どのモデルの回答かを伏せたまま、事実ごとに「言及」「欠落」「否定」を判定する。1件でも否定があればその問題は0点となる。中国当局の説明を自らの立場として採用した回答はプロパガンダと判定され、根拠となる表現の引用が必須である。
| モデル | 事実スコア(0~5) | プロパガンダ回答 |
|---|---|---|
| Inkling(教師モデル) | 3.96 | 0.3% |
| Mistral Large 4 | 3.65 | 0.3% |
| Arete-27B | 2.98 | 0.9% |
| GLM 5.3 | 3.10 | 15% |
| DeepSeek V4.1 Flash | 2.39 | 16% |
| Qwen3.8-27B(元モデル) | 2.32 | 22% |
条件はすべて同じではない。モデルカードによると、Areteと元のQwenは温度0、他は0.6で実行された。温度0.6ではArete 2.88、Qwen 2.24である。
追加学習で何が変わったか
ノウスはシンキング・マシーンズ・ラボのオープンモデルInklingを教師とし、2万件のプロンプトに対する回答を集めて1202ステップ学習した。変化が最大だったのは表現の自由の分野で、事実スコアは0.89から2.44に上がり、プロパガンダ回答は60%から1%に減った。
性能低下は、ノウスが実施した試験では確認されなかった。社内指標Hermes Benchは65.77%から65.60%で誤差の範囲だという。Terminal-Bench-2.1は67%から70%に上がったが、同社はこれを成果とはしていない。
"It is applied late, it is applied thin(偏りは後から、薄く施されている)"。ノウスは約5000万トークンでその層を除去できると主張している。
「西側の価値観」モデルの限界
Areteは中立なモデルではなく価値観を入れ替えたモデルであり、ノウスもそれを隠していない。元の視点に結びつくすべての挙動を直したとも主張していない。評価が測るのは中国当局の枠組みという一方向のみで、人手で採点した25問の試行で調整した単一のLLM採点に依存している。
汚染は双方向に起きている。ノウスはエヌビディアのNemotron 3 Ultraを教師候補から外した。中国関連の話題で問題が見られたためだという。The Decoderは、Inklingの合成学習データにもKimi K2.5が使われたと報じている。
影響はチャットの回答にとどまらない。ヒルンド(Hirundo)は10月21日、Qwen3-Coderが米防衛企業向けに作るアプリは、中国企業向けよりハッキング可能になる確率が19%高いと発表した。サウスチャイナ・モーニング・ポストによると、米国土安全保障省は10月、連邦文民機関にDeepSeek製品の排除を命じている。
今後の見通し
次の焦点は外部検証である。推論モードを有効にした3.07は5回中2回分の暫定値にとどまる。外部の研究者は同じ803問を別の採点モデルで試すことができる。
よくある質問
Arete-27Bに中国の偏りはまったくないのか。
ノウスはそう主張していない。自社評価でも回答の0.9%がプロパガンダと判定され、関連する挙動をすべて修正したわけではないとしている。
ダウンロードして使えるのか。
重み、評価セット、学習データはHugging Faceで公開されている。
性能は落ちていないのか。
ノウスが実施したベンチマークでは低下していない。Hermes Benchの差は0.17ポイントで、同社はノイズとみている。
参考資料
- Introducing Arete-27B: Qwen3.8-27B Post-Trained To Reinforce Western Values — Nous Research(2026年11月6日)
- NousResearch/Arete-27B — Hugging Face(2026年11月6日)
- NousResearch/Propaganda_Eval — Hugging Face
- Chinese AI Writes Weaker Code for Beijing's Adversaries. We Fixed It. — Hirundo(2026年10月21日)
- State propaganda in some Chinese AI models is only "a thin layer" that fine-tuning can strip away — The Decoder(2026年11月7日)
- US orders DeepSeek removed from federal systems, citing national security risks — South China Morning Post(2026年10月20日)
コメント 0
現在コメントの投稿は無効になっています。