4ビット未満の圧縮は、通常なら推論モデルが推論をやめてしまう領域です。思考の連鎖は短くなり、ツール呼び出しは失敗し始め、ベンチマークの平均値は一気に崩れます。PrismMLは木曜日、その境界をはるかに下回りながら実用に耐えると主張するモデルを公開しました。
Bonsai 2 27Bは、アリババのオープンウェイトモデルQwen3.8-27Bを、FP16でおよそ54GBだったところから5.95GBまで圧縮しています。一般的なノートパソコンやGPU1枚に収まるサイズです。Hugging Faceで公開されたモデルカードによれば、オリジナルで計測された性能の98.2%を維持しているといいます。
要点
- Bonsai 2 27Bは14種類の思考モードベンチマークで平均84.78を記録しました。同じベースモデルをより大きなサイズで量子化した従来型のIQ2_XXSビルドは72.59にとどまります。
- 言語モデルの重みをすべて−1、0、+1のいずれかで保存し、重みあたり1.72ビットに到達しました。FP16比でおよそ9.3分の1です。
- カリフォルニア工科大学教授のババク・ハシビ氏が率いるPrismMLは、Khosla Ventures、Cerberus Capital、カリフォルニア工科大学から2225万ドルのシードラウンドを調達しています。
三値の重みが実際にもたらすもの
一般的なモデルは重みを1つずつ16ビットの数値で保存します。PrismMLの手法が許すのは−1、0、+1の3つの値だけで、重み128個ごとに共有のスケール係数を1つ持たせます。三値1つが担う情報量は約1.585ビットで、そこに共有スケールと高精度のまま残したごく一部のテンソルを織り込むと、モデル全体が重みあたり1.72ビットに落ち着きます。
興味深いのは、PrismMLが何を例外扱いしていないかです。埋め込み、アテンション射影、MLP射影、LMヘッドまですべてが三値です。低ビットのビルドは、敏感なテンソルを高精度のまま残しつつ低いビット数だけを宣伝しがちなので、この点には意味があります。モデルカードはその比較を明示し、同じQwen3.8-27Bベースを使った広く知られた「2ビット」ビルドが、実際には重みあたり2.8ビット、ディスク上で9.4GBだと指摘しています。Bonsai 2で三値を外れているのは言語モデルの約0.0976%にすぎず、その分も1.72という数字の外に置かず内側に算入しています。
ここに至る過程では基底の変換が使われます。各重み行列は値を割り当てる前に直交アダマール変換でブロック単位に回転され、実行時には対応する変換が活性値に適用されます。回転はオフラインで保存済みの重みに畳み込まれるため追加のビットは要しません。ただし代償として、標準のllama.cppではこれらのファイルをまったく動かせません。PrismMLは必要なカーネルを含むフォークを配布したうえで、未改変のビルドは2種類の三値パッキングを未知の型として拒否し、旧来のQ2_0ファイルは警告なく読み込んだうえで意味のない出力を返すと注意を促しています。
ベンチマークが示す位置
看板の数字は14種類の思考モードベンチマークの平均84.78です。この数字に意味を与える比較対象が、72.59にとどまったIQ2_XXSビルドです。同じベースモデルを従来手法で低ビット量子化したこのビルドは、容量を1.5倍以上使いながら12点も下回りました。Bonsai 2は容量が3倍のUD-Q4_K_XLビルドとも0.4点差以内に迫っています。
領域別に見ると、数学は96.57で完全精度との差が0.5点以内、コーディングは89.42でベースラインと同水準です。エージェント的なツール呼び出しは74.92で3つのうち最も弱く、このモデルでローカルエージェントを動かすつもりなら押さえておきたい点です。スループットはApple M5 Max搭載ノートで毎秒約47トークン、26万2000トークンのコンテキストウィンドウは圧縮後も維持されました。バックボーンの約75%が線形アテンションであることが、端末上でこの長さを現実的にしています。
開発した企業
PrismMLはカリフォルニア工科大学の研究者グループが設立した企業で、圧縮を研究分野とする同大教授のハシビ氏が率いています。Databricks共同創業者でバークレーのSky Computing Labを率いるイオン・ストイカ氏が顧問を務めます。ハシビ氏はTechCrunchに対し、3月に公開した初代Bonsaiはベースモデルのスコアの95%に並んだと語りました。98.2%への上昇は一世代分の改善にあたります。アップルと協議中だとする報道については、コメントを控えました。
利用状況の数字は、この技術がすでに広がっていることを示しています。最初のモデルは1100万回以上ダウンロードされ、同社のより小さなモデル群でもさらに260万回が積み上がりました。ストイカ氏は端末上の知能の利点を2つに整理します。ハードウェアはすでに買ってあるので無料であり、何もサーバーに送られないのでプライベートだという点です。
次に注目すべき点
ハシビ氏によれば、2か月ほどのうちに出る次のリリースは数千億パラメータ級のモデルを狙います。規模が大きくなるほど圧縮は難しくなるどころか容易になるというのが同氏の見立てで、大きなモデルほど取り除ける冗長性を多く抱えているからだといいます。この見通しが当たれば、ローカルで動かせる上限は大きく引き上がり、実務上の論点は性能から流通へ移ります。どのランタイムがこのフォーマットに対応するのか、そしてどれだけ早く対応するのかです。現時点で正直に付しておくべき但し書きは、これらが独自フォーク上で同社自身が計測して公表した数字だということです。アリババがオープンソース化したQwen3.8ベースの上で第三者が再現するのが、待つべき段階です。PrismMLは結果再現の基準になるとする白書とデモリポジトリを公開しています。
FAQ
Bonsai 2 27Bは普通のノートパソコンで動きますか
言語モデルは最も密なパッキングで5.95GBを占め、一般的なノートパソコンやGPU1枚に無理なく収まります。PrismMLはApple M5 Maxで毎秒約47トークンを計測しました。オプションの0.63GBの画像モジュールは実際に画像を渡したときだけ読み込まれるため、テキストのみの利用ならこの容量を負担しません。
標準のllama.cppで動きますか
動きません。三値パッキングは専用カーネルとアダマール活性変換に依存しますが、標準のllama.cppはいずれも実装していません。標準ビルドは三値パッキングのPTQ1_0とPQ2_0を未知の型として拒否し、Q2_0ファイルは警告なく読み込むもののアダマール活性ランタイムがないため意味のない出力を返します。したがってPrismMLのllama.cppフォークかMLXビルドが必要です。
実際に失われる品質はどの程度ですか
PrismMLはFP16性能の98.2%を維持すると報告しています。14種類の思考モードベンチマークの平均で、完全精度に対して84.78という数字です。数学とコーディングがオリジナルに最も近く、74.92だったエージェント的ツール呼び出しで差が最も開きました。いずれも同社自身の計測値で、白書とともに公表されていますが、外部による独立した再現はまだ行われていません。
