中国電信、ファーウェイ製チップだけで285Bモデルを学習
中国電信の星辰AGIラボは2026年11月17日に技術報告書を公開し、エヌビディアのGPUやCUDAを使わず、ファーウェイのAscend 910C 8192枚とMindSporeで285BパラメーターのMoEモデルを事前学習したと明らかにした。公開された重みはXing4.0-29B-A4B(Apache 2.0)のみである。
中国電信(チャイナテレコム)のAI部門「星辰(Xingchen)AGIラボ」が、エヌビディアのGPUとCUDAを使わず、ファーウェイのAIチップ「Ascend 910C」8192枚で2850億(285B)パラメーターの言語モデルを事前学習した手法を公開した。技術報告書「TeleChat to Xing4」は2026年11月17日にarXivで公開され、18日にはHugging Faceの「Daily Papers」で1位となった。海外ニュースレター「AI Weekly」が18日付で取り上げた。

要点
- 285Bの混合エキスパート(MoE)モデルは1トークンあたり約17Bパラメーターだけを使い、最大100万トークンの文脈に対応する。
- 重みが公開されているのはXing4.0-29B-A4Bのみである(2026年9月17日、Apache 2.0)。
- プリフィル処理量は最大4.68倍、デコードは2.67〜3.77倍に改善したとするが、一部はシミュレーションによる数値だ。
CUDAなしで学習した285Bモデル
報告書は、オープンソースモデルの大半がGPUで学習されており、中国製チップとフレームワークでの大規模化には「大きなシステム上の課題」があると指摘する。Xing 4は従来の「TeleChat」の系譜を継ぐシリーズで、ファーウェイのフレームワーク「MindSpore」上で動作する。
285Bモデルは45層構成で、256個のルーティング型エキスパート(1トークンごとに8個を選択)と共有エキスパート1個を持つ。研究チームは本番クラスターのAscend 910C 8192枚で事前学習したとしている。1兆パラメーター級モデルの学習も進行中だという。
Ascend 910Cに合わせた設計
研究チームによると、910Cは行列演算に強い一方、ベクトル演算とメモリー帯域の制約が大きい。そこで60層に代えて「広く浅い」45層構造を採用し、学習処理量を約10%高めた。さらにパイプライン並列化をなくし、処理量を16.1%向上させた。
推論面では、MLAにDeepSeekのスパースアテンション(DSA)と層間のインデックス共有を組み合わせ、256Kの文脈でプリフィル処理量を最大4.68倍に引き上げた。ただし、ファーウェイのシミュレーターによる結果で、実運用より楽観的な可能性があると注記している。投機的デコーダー「DSpark」は6種のベンチマークでデコード処理量を2.67〜3.77倍に高めた。
Xing4.0-29B-A4Bの性能
GitHubリポジトリによると、公開モデルは総パラメーター290億のうち1トークンあたり40億を活性化し、標準で256K(最大512K)の文脈に対応する。
| ベンチマーク | Xing4.0-29B | Qwen3.6-35B | Gemma4-26B |
|---|---|---|---|
| SWE-bench Verified | 75.0 | 76.0 | 53.0 |
| Terminal-Bench 2.1 | 57.5 | 51.5 | 30.0 |
これらのスコアは外部で再現されていない。モデルはvLLMやSGLangなど一般的なツールでも動作する。
背景と今後の展望
中国のオープンモデルの多くはエヌビディア製ハードウェアで学習されてきた。この規模の事前学習をファーウェイ製チップで完了させた事例は、米国の輸出規制下で中国が自国製チップで大規模モデルを構築できるかを測る材料となる。今後は外部の研究者が性能と効率の数値を検証することになる。
よくある質問
285Bモデルはダウンロードできるのか。できない。公開されているのは29Bモデルと、そのFP8版・GGUF版のみである。
ファーウェイ製チップは必要か。必要ない。GGUF版はCPUやCUDA環境でも動作する。
参考資料
- TeleChat to Xing4: Advancing Frontier Agentic Models on Domestic Chips and Frameworks — Hugging Face / arXiv(2026年11月17日)
- GitHub - XingChen-AGI/Xing4.0-29B-A4B — 中国電信
- AI News for November 18, 2026 — Daily Edition — AI Weekly(2026年11月18日)
コメント 0
現在コメントの投稿は無効になっています。