DeepSeek が、552Bパラメータのマルチモーダル Mixture-of-Experts モデル「DeepSeek-V4.1-Flash」を公開しました。前面に出しているのはベンチマークのスコアではなく、ストレージの数字です。トークンあたりのグローバル KV キャッシュが890バイト。同じ系列長で前世代が必要としていた量のおよそ4分の1で、1台のマシンが何本のエージェントセッションを同時に抱えられるかを左右する数値です。重みと技術レポートは MIT ライセンスで Hugging Face に置かれています。
要点
- DeepSeek-V4.1-Flash はグローバル KV キャッシュをトークンあたり890バイトまで圧縮しました。DeepSeek-V4-Flash のおよそ4分の1で、永続キャッシュは8分の1程度まで下がります。
- Causal Encoder-Decoder による分割で、プリフィル時は8B、デコード時は16Bのパラメータだけが動きます。出力より入力が圧倒的に多いエージェント用途を狙った設計です。
- 公表値は GPQA Diamond が90.9、Terminal-Bench 2.1 が90.6%、Codeforces レーティングが3471で、コンテキストウィンドウは100万トークンです。
なぜ KV キャッシュがボトルネックになったのか
長時間走るエージェントのワークフローが、従来のコストモデルを壊しました。ツール呼び出しのたびにコンテキストは伸び、過去のキーと値をすべて抱えたキャッシュも一緒に膨らみます。このキャッシュはアクセラレータの HBM を占有し、プレフィックス再利用のためにセッションを保存すればホストメモリや SSD にまであふれ出します。スパースアテンションは長系列処理の計算量こそ削りましたが、ストレージとその転送に費やす帯域は残したままでした。いま推論コストが集中しているのは、まさにそこです。
DeepSeek の答えは、どれか一つを磨くのではなく、キャッシュを三つの軸から同時に攻めるものでした。ヘッド数を減らして1エントリを小さくし、ブロック単位の圧縮でエントリ数を減らし、レイヤ間共有で重複したコピーそのものを消します。40層を通じてネットワークが保持するキャッシュは、エンコーダ3つとデコーダ1つだけです。そのうえに16チャネルごとのスケーリング係数を用いる E2M1 形式の FP4 量子化が重なり、残ったバイト数をさらに削ります。
エンコーダ・デコーダ分割が果たす役割
土台にある構造変更が Causal Encoder-Decoder(CED)です。You Only Cache Once 系の研究を応用しています。モデルの40層はちょうど半分に分かれ、下位20層は再利用可能な文脈表現を作るエンコーダとして働き、上位20層は自前で計算する代わりにエンコーダ最終層の隠れ状態を射影してキー・バリューを得ます。
結果として、長いプロンプトの大半の位置はネットワークの半分しか通りません。プリフィルはトークンあたり8B、デコードは16Bを活性化します。この非対称性が効くのは、エージェントのトラフィックが入力偏重だからです。大きな文脈を読み直して短いツール呼び出しを返すだけのモデルは、計算の大部分を「いま安くなった側」に費やすことになります。
エンコーダ内部のアテンションには、DeepSeek が CSA2 と呼ぶ方式を採用しました。局所文脈向けの128トークンのスライディングウィンドウに、グローバルなスパース検索とレイヤ間再利用を組み合わせた構造です。各層には Full・Reindex・Reuse のいずれかが固定モードとして割り当てられ、スパースアテンションの索引を新たに計算するか引き継ぐかがあらかじめ決まります。検索の判断を40回繰り返さずに済むわけです。デプロイ時のもう一つの工夫であるスライディングウィンドウキャッシュの限定的なリプレイが、永続ストレージを前世代の8分の1程度まで引き下げています。
スコアはどうか
推論の強度を1から100まで調整できるダイヤルを最大にした条件で、DeepSeek は GPQA Diamond 90.9、MMLU-Pro 74.1%、Codeforces レーティング3471を報告しています。強いのはエージェント系の評価で、Terminal-Bench 2.1 で90.6%、CyberGym で88.1%、DeepSWE v1.1 では課題の74.2%を解決しました。コーディングのベンチマークは相対的に低く、HumanEval が79.4%、BigCodeBench が60.6%にとどまります。
スパース化は思い切った設定です。各層は共有エキスパート1つと384のルーテッドエキスパートを持ち、トークンごとに6つだけが動きます。マルチモーダル経路にはパッチサイズ14の32層 Vision Transformer が加わり、画像あたりの視覚トークンは1,024に制限されます。事前学習には45兆トークンを使いました。zartbot の名で執筆するエンジニアは独自にアーキテクチャを分析し、実測で毎秒およそ420トークンを計測したうえで、変化幅を考えるとポイントリリースという名前は控えめすぎると指摘しました。
オープンウェイト運用にとっての意味
ここでの競争軸は、リーダーボードの順位ではなく運用の経済性です。MIT 条件で公開されたオープンウェイトモデルがキャッシュ使用量を4分の1にすれば、セルフホスティングの試算は変わります。固定された GPU 予算で同時セッション数を決めるのは、生の演算性能ではなくメモリとキャッシュ帯域だからです。DeepSeek はこの手をすでに一度打っています。V4 Pro をフロンティア級の数分の1の価格で正式提供し、実用的な重みと異例の低コストを組み合わせて見せました。
残る論点は品質の劣化です。レイヤ間再利用も4ビットのキャッシュ量子化も、構造上どちらも損失を伴います。100万トークンのセッションの奥深くでしか表に出ない劣化を捉えるには、総合ベンチマークは鈍い道具です。トークンあたり890バイトが長時間のエージェント実行に耐えるかどうかは、評価スイートではなく実際の運用が答えを出します。
よくある質問
DeepSeek-V4.1-Flash はオープンソースですか
重みは MIT ライセンスで Hugging Face に公開されており、商用利用も改変も再配布も認められています。ただし多くのオープンウェイト公開と同様、学習データと学習パイプライン全体は含まれていません。完全なオープンソースというより、オープンウェイトと呼ぶのが適切です。
DeepSeek-V4-Flash と比べて KV キャッシュはどれだけ小さいですか
グローバル KV キャッシュはトークンあたり約890バイトで、同じ系列長なら前モデルのおよそ4分の1です。プレフィックス再利用のためにセッションを保存する際に効いてくる永続キャッシュは、スライディングウィンドウキャッシュの限定的リプレイによって8分の1程度まで下がります。
プリフィルとデコードで活性パラメータ数が異なるのはなぜですか
Causal Encoder-Decoder の設計では、上位20層がキー・バリューを自前で計算せず、エンコーダ出力から射影して借りてきます。そのため長いプロンプトはネットワークの前半だけで足り、8Bパラメータが動きます。1トークンずつ生成する段階ではスタック全体を使うため16Bになります。
