AWS、SGLang-Neuron公開 TrainiumでKimi-K3も稼働
AWSは2026年11月12日、オープンソースの推論エンジンSGLangを自社AIチップTrainiumで動かすプラグイン「SGLang-Neuron」を一般公開した。Apache 2.0のパブリックプレビューで、Kimi-K3を含むLLM9種類に対応するが、GPUとの速度・価格比較は示していない。
アマゾン・ウェブ・サービス(AWS)は2026年11月12日(現地時間)、オープンソースの推論エンジンSGLangを自社製AIチップ「Trainium(トレイニアム)」で動かすプラグイン「SGLang-Neuron」を一般公開した。RadixArkがアマゾン傘下のAnnapurna Labsと共同で開発し、AWSのディープラーニングコンテナとして提供する。AWS機械学習ブログによれば、「今使っているのと同じSGLangのインターフェース」でモデルを提供できるという。
3つのポイント
- SGLang-Neuron v0.1.0はApache 2.0ライセンスのパブリックプレビューである。大規模言語モデル(LLM)はTrainium3(Trn3)インスタンス、拡散モデルはtrn2.48xlargeで動く。
- 対応LLMはQwen3-0.6Bから、ムーンショットAIの2.8兆パラメータモデルKimi-K3まで9種類。Kimi-K3はTrainium3の3ノードに分散し、最大100万トークンのプロンプトを処理する。
- AWSの発表には、GPUと比べたスループット・遅延・価格の数値は含まれていない。

SGLang-Neuronとは TrainiumでSGLangをそのまま使う
SGLang-Neuronは、SGLang本体のコードの外に置かれた「アウトオブツリー」型のプラグインだ。インストールするとNeuronプラットフォームが登録され、サーバー起動時に環境変数SGLANG_PLATFORM=neuronを指定するだけで選べる。モデルの起動やAPI呼び出しはGPUと同じ手順である。
APIサーバー、リクエスト処理、RadixAttention、プレフィックスキャッシュは引き続きSGLang本体が担う。プラグインはモデル、アテンション、MoE(混合エキスパート)層、グラフ実行部といったTrainium固有の部分を受け持つ。土台はAWSのネイティブPyTorchバックエンドTorchNeuronで、独自カーネルはNKI(Neuron Kernel Interface)で書き、torch.compileでコンパイルする。
対応モデル gpt-oss-120bからKimi-K3まで
GitHubリポジトリが挙げるLLMは、オープンAIのgpt-oss-120b、Qwen3-0.6B、Qwen3-8B、Qwen3-30B-A3B、GLM-4-9B、DeepSeek-V2-Lite、GLM-5.2、Kimi-K3、Qwen3.5-397B-A17Bである。FLUX.1-devやWan2.2 A14Bなど拡散モデル5種類にも対応する。
最大の構成はKimi-K3だ。プロンプトを読み込む「プリフィル」をTrainium3の1ノード、回答を生成する「デコード」を2ノードが担う分離型で、両者の間のKVキャッシュはAWSのEFAネットワーク上でNIXLを使って転送する。
使う前に知っておきたい制約
READMEは今回をパブリックプレビューと位置づけ、機能・API・対応モデルは今後変わりうるとしている。SGLangのコミット43881a7に固定され、Neuron SDK 2.33.0が必要だ。LoRAアダプター、埋め込みサーバー、重み更新エンドポイントには対応しない。初期設定は貪欲(greedy)サンプリングで、別のサンプラーを指定しない限り、リクエストごとにtemperatureを0にする必要がある。
背景 限定ベータから3週間で一般公開
SGLangを運営する非営利団体LMSYSは10月22日、Trainium2とTrainium3向けの限定ベータを始めた。最初の強化学習テストでは、Trainium3がQwen3-30B-A3Bのロールアウトを生成し、LMSYSのMilesフレームワークがエヌビディアH200の1ノードで方策を学習した。LMSYSは学習が安定して完了したとしている。
今回の公開は、エヌビディア、AMD、インテルが11月12日にLMSYSの「SGLangコンソーシアム」に加わった直後となった。TrainiumをほかのPyTorchデバイスと同じように扱えるようにし、GPUの作業を少ないコード変更で移せるようにするというAWSの戦略の延長線上にある。
今後の見通し 焦点はコストと速度
AWSはGPUとの直接比較を公表していないため、実際の効果は開発者が自らのワークロードで確かめる必要がある。プラグインの修正がSGLang本体に取り込まれるかも注目点だ。
よくある質問
SGLang-Neuronは無料か。
コードはApache 2.0のオープンソースである。ただし実行には有料のAWS Trainiumインスタンスが必要だ。
既存のSGLangのコードを書き換える必要はあるか。
AWSは不要だと説明する。通常どおりSGLangのサーバーと生成APIを使い、環境変数1つでプラグインを選ぶ。
参考資料
- Deploy frontier AI models on AWS Trainium with SGLang-Neuron — AWS機械学習ブログ(2026年11月12日)
- sgl-project/sglang-neuron — GitHub
- Announcing the SGLang AWS Trainium Plugin Beta — LMSYS Org(2026年10月22日)
コメント 0
現在コメントの投稿は無効になっています。