🇺🇸 English 🇰🇷 한국어 🇯🇵 日本語
ホーム › AI & 機械学習
AI & 機械学習

シンキング・マシーンズ、ノートPCで動くループ型「Inkling 2 Mini」

シンキング・マシーンズ・ラボは11月20日、中央の層を3回繰り返す264億パラメータのループ型モデル「Inkling 2 Mini」をApache 2.0のオープンウェイトで公開した。メモリ32GB級のノートPCで動作し、ループ回数を変えられる研究用モデルも同時に公開した。

ミラ・ムラティ氏率いる米AIスタートアップのシンキング・マシーンズ・ラボ(Thinking Machines Lab)は11月20日(現地時間)、パラメータ数264億のオープンウェイトモデル「Inkling 2 Mini」を公開した。モデル中央の層をトークンごとに3回繰り返す「ループ型トランスフォーマー」で、容量は約20GB。同社はノートPCでもオフラインで動かせるとしている。重みはApache 2.0ライセンスでHugging Faceに公開された。

机の上のノートPCの画面にターミナルと実行中のコードが映っている
ターミナルでコードを実行するノートPC(資料写真)。Inkling 2 Miniはメモリ32GB級の機器でローカル実行できるよう設計された。 · 사진: shabdaly / Flickr(CC BY 2.0)

要点

  • 総パラメータ264億、アクティブ34億。ループ分を含めるとトークン当たり54億の重みが使われる。
  • 同社発表によると、DeepSWE v1.1で48.2%、Vals Index v2.2で46.5%と、1000億パラメータ未満のオープンモデルで首位である。
  • ループ回数を1〜5回で変えられる研究用モデルも同時公開し、推論や思考過程の監視の研究に役立てる。

ループ型トランスフォーマーの仕組み

モデルは24層を6層ずつ4ブロックに分けている。同社の公式発表によれば、最初と最後のブロックは1回だけ通り、中央の2ブロックは同じ重みで3回繰り返す。保存されている層は24だが、1トークンの処理で層を48回通過する計算だ。

同社は、中央12層を繰り返す方式が最後の12層を繰り返す方式より、28の評価のうち27で上回ったとしている。ループしないモデルは学習の計算量が7.5%少なかったものの、51万2000トークンのエージェント作業記録で同じ損失値に達するには推論の計算量が140%多く必要だった。

ノートPCで動かすための要件

重みの大半は学習段階から4ビット(NVFP4)で作られ、最後の4層のみ8ビット(MXFP8)である。配布も同じ精度のため変換による劣化はない。Hugging Faceのモデルカードは、メモリ32GB以上のApple シリコン搭載Mac、エヌビディアのDGX Spark 1台、VRAM 32GB以上のGPUを推奨している。コンテキスト長は最大100万トークンで、テキストと画像を入力できる。

Ollama、vLLM、SGLang、Unsloth、NVIDIA Dynamo、TokenSpeedで動作し、llama.cpp向けのGGUF量子化版も用意された。同社の学習基盤Tinkerでは推論とファインチューニングにも対応する。

性能と限界

数値はいずれも同社の自己申告だ。DeepSWE v1.1では48.2%で、アリババのQwen3.8-27B(42.2%)を上回った。SWE-bench Verifiedでも79.2%と77.8%を上回る。Artificial Analysis Index(v5.0)は20.1で両モデルが並んだ。

同社によると、ループは推論力を高めるが、蓄えられる知識は増えない。複数ターンの対話(MultiChallenge 50.0%)や複雑な条件指示(ComplexConstraints v1.1 33.4%)ではQwen3.8-27Bに及ばなかった。モデルカードは、確認なしにファイルを削除・上書きする恐れがあるとして、エージェントをサンドボックスで動かすよう勧めている。

背景:ループで「思考」は隠れるのか

ループ型モデルは途中の手順を文章にせずとも多くの計算ができるため、思考過程(CoT)を読んでAIを監視する手法が効きにくくなる懸念がある。同社はループ回数を変えられる研究用モデルTML-d24-varloop-researchで検証した。思考過程なしで解ける課題の長さは、ループ1回の16秒から3回で37秒に伸び、その後はほぼ横ばいだった。

GPQA Diamondでは平均推論長がループ1回の3703トークンから5回で1661トークンに縮んだが、文の長さや辞書に載る単語の割合は変わらなかった。LinuxArenaの妨害工作テストでも、ループが増えるほど検知を逃れやすくなる明確な傾向は見られなかった。同社は初期的な分析だとしている。

今後の見通し

今回のモデルは、11月5日に公開した5940億パラメータ(アクティブ170億)のInkling 2 Smallに続くものだ。同社は米国のNational Deep Inference Fabric(NDIF)と連携し、解釈可能性の研究者がループ型モデルを使いやすくする計画である。

よくある質問

Inkling 2 Miniは商用利用できるのか。
重みはApache 2.0ライセンスで公開されており、商用利用が可能である。

どのようなパソコンで動くのか。
メモリ32GB以上のApple シリコン搭載Mac、DGX Spark、VRAM 32GB以上のGPUが推奨環境だ。

ループ型トランスフォーマーとは何か。
同じ層をトークンごとに何度も使い回し、保存するパラメータを増やさずに計算の深さだけを増やす構造である。

参考資料

#シンキング・マシーンズ #Thinking Machines Lab #Inkling 2 Mini #ループ型トランスフォーマー #オープンウェイト #ローカルLLM #Hugging Face #ミラ・ムラティ #思考過程の監視
チ
チョン・スン
AI Newsway · 開発者

AI Newswayの編集責任者です。AI、開発ツール、クラウド、生産性テクノロジーの記事を執筆しています。

この記者の他の記事 ›
著作権者 © AI Newsway 無断転載・再配布、AI学習・活用禁止
共有
f X K

コメント 0

現在コメントの投稿は無効になっています。

最初のコメントを書いてみましょう。