ファーウェイ、122Bモデルを64分で4ビット量子化

ファーウェイの研究チームが、1220億パラメータのモデルを64分で4ビットに量子化できるとする量子化ツール「MACaQ」をオープンソースで公開した。使用したGPUメモリは32.5GBだったという。コードはApache 2.0ライセンスでGitHubに公開され、論文は11月7日にarXivへ先行掲載された。AIニュースレターのAI Weeklyが12日に報じている。以下の数値はいずれも研究チームが論文とREADMEで示したもので、外部での再現はまだない。

ポイント

• 16ビットの重みだけで約244GBあるQwen3.5-122B-A10Bを96GBのGPU1枚で量子化し、出来上がった74GBのモデルは同じGPUで動作する。
• Llama-3-8BではMR-GPTQやDuQuant++より低いパープレキシティを示し、両手法の最良値に11分の1の時間で並んだと主張する。
• llama.cpp、vLLM、Diffusers、PyTorchに対応し、テキスト・画像・動画・音声モデルに使える。

GPUより大きなモデルをどう量子化するのか

MACaQ（Model Agnostic Calibrated Quantization）は、重みと活性値の両方を4ビット浮動小数点形式のMXFP4に変換するW4A4方式である。従来手法の多くは推論コストをなくすため、変換を前後の層に吸収させる。MACaQは逆に、チャネルごとのスケーリングとブロック・アダマール回転を各線形層の中に残し、推論時にその場で計算する。

これにより層ごとに独立して較正・量子化でき、GPUには一度に1層だけを載せ、残りはシステムメモリに置ける。続く「フリップ・リファインメント（Flip-Refinement）」と呼ぶ工程が、誤差が減る方向へ4ビットの値を隣の値に一つずつ動かす。

ロレンツ・ミュラー（Lorenz K. Muller）氏ら6人による論文によると、122Bの実験では較正用に51万2000トークンを使った。WikiText-2のパープレキシティは元の5.06から量子化後に5.14となった。

MACaQのベンチマーク、GPTQ系手法との比較

研究チームによれば、変換を推論時に計算してもvLLM上のQwen3-32Bで追加負荷は2.3%にとどまる。画像モデルでは、公式NVFP4版より元のモデルに近い出力が得られたとしている。

ローカルAIで4ビットツールが重要な理由

GitHubリポジトリは用途別に分かれている。llama.cpp向けの2・3・4ビットGGUF（CPU実行にも対応）、vLLMでの配信向けのW4A4または重みのみのチェックポイント、拡散モデルと音声モデル向けのW4A4である。既存のGGUFファイルを改良しつつ標準のllama.cppとの互換性を保つ「MACaQ-R」も同時に公開した。

手順はアリババのQwen3.8-27Bなど人気の公開モデルを対象としている。ただし高速化は4ビット演算に対応したハードウェアが前提だ。論文の実験はメモリ96GBのGPU（製品名は非公表）で行われた。

論文は限界も挙げている。層を個別に処理するため、層をまたいだ誤差補正はできない。混合エキスパート（MoE）モデルではエキスパート層のみを量子化しており、0.6Bの小型モデルでは変換による負荷が約8%に増える。

今後の焦点

AI Newswayの確認時点でリポジトリのスターは35、コミットは16件で、外部のベンチマークはまだ少ない。ファーウェイ自社のAscendチップ向けW4A4カーネルはレビュー中のプルリクエストの段階で、モデル全体を動かすにはAscend推論ランタイムとの統合がさらに必要だとREADMEは説明している。

よくある質問

一般的なPCでも使えるのか

READMEによると、llama.cpp経由ではGGUFファイルを生成し、CPU実行にも対応する。ただし122Bモデルは量子化後もGPUメモリ74GBが必要だ。

商用利用はできるのか

コードは商用利用を認めるApache 2.0ライセンスである。同梱される外部コンポーネントはそれぞれのライセンスに従うとREADMEは記している。

参考資料

• GitHub - huawei-csl/MACaQ — GitHub
• MACaQ: Fast, Model Agnostic Calibrated Quantization for Low-Precision Weights and Activations — arXiv（2026年11月7日）
• Huawei Open-Sources MACaQ, Quantizes 122B Model in 64 Minutes — AI Weekly（2026年11月12日）