🇺🇸 English 🇰🇷 한국어 🇯🇵 日本語
ホーム › 開発者ツール
開発者ツール

AWS、SGLang-Neuron公開 TrainiumでKimi-K3も稼働

AWSは2026年11月12日、オープンソースの推論エンジンSGLangを自社AIチップTrainiumで動かすプラグイン「SGLang-Neuron」を一般公開した。Apache 2.0のパブリックプレビューで、Kimi-K3を含むLLM9種類に対応するが、GPUとの速度・価格比較は示していない。

アマゾン・ウェブ・サービス(AWS)は2026年11月12日(現地時間)、オープンソースの推論エンジンSGLangを自社製AIチップ「Trainium(トレイニアム)」で動かすプラグイン「SGLang-Neuron」を一般公開した。RadixArkがアマゾン傘下のAnnapurna Labsと共同で開発し、AWSのディープラーニングコンテナとして提供する。AWS機械学習ブログによれば、「今使っているのと同じSGLangのインターフェース」でモデルを提供できるという。

3つのポイント

  • SGLang-Neuron v0.1.0はApache 2.0ライセンスのパブリックプレビューである。大規模言語モデル(LLM)はTrainium3(Trn3)インスタンス、拡散モデルはtrn2.48xlargeで動く。
  • 対応LLMはQwen3-0.6Bから、ムーンショットAIの2.8兆パラメータモデルKimi-K3まで9種類。Kimi-K3はTrainium3の3ノードに分散し、最大100万トークンのプロンプトを処理する。
  • AWSの発表には、GPUと比べたスループット・遅延・価格の数値は含まれていない。
ホスティング用データセンターに並ぶサーバーキャビネット
データセンターのサーバーキャビネット(資料写真)。SGLang-NeuronはAWS Trainiumを搭載したクラウドサーバーを対象とする。 · 사진: NeoSpire / Flickr(CC BY 2.0)

SGLang-Neuronとは TrainiumでSGLangをそのまま使う

SGLang-Neuronは、SGLang本体のコードの外に置かれた「アウトオブツリー」型のプラグインだ。インストールするとNeuronプラットフォームが登録され、サーバー起動時に環境変数SGLANG_PLATFORM=neuronを指定するだけで選べる。モデルの起動やAPI呼び出しはGPUと同じ手順である。

APIサーバー、リクエスト処理、RadixAttention、プレフィックスキャッシュは引き続きSGLang本体が担う。プラグインはモデル、アテンション、MoE(混合エキスパート)層、グラフ実行部といったTrainium固有の部分を受け持つ。土台はAWSのネイティブPyTorchバックエンドTorchNeuronで、独自カーネルはNKI(Neuron Kernel Interface)で書き、torch.compileでコンパイルする。

対応モデル gpt-oss-120bからKimi-K3まで

GitHubリポジトリが挙げるLLMは、オープンAIのgpt-oss-120b、Qwen3-0.6B、Qwen3-8B、Qwen3-30B-A3B、GLM-4-9B、DeepSeek-V2-Lite、GLM-5.2、Kimi-K3、Qwen3.5-397B-A17Bである。FLUX.1-devやWan2.2 A14Bなど拡散モデル5種類にも対応する。

最大の構成はKimi-K3だ。プロンプトを読み込む「プリフィル」をTrainium3の1ノード、回答を生成する「デコード」を2ノードが担う分離型で、両者の間のKVキャッシュはAWSのEFAネットワーク上でNIXLを使って転送する。

使う前に知っておきたい制約

READMEは今回をパブリックプレビューと位置づけ、機能・API・対応モデルは今後変わりうるとしている。SGLangのコミット43881a7に固定され、Neuron SDK 2.33.0が必要だ。LoRAアダプター、埋め込みサーバー、重み更新エンドポイントには対応しない。初期設定は貪欲(greedy)サンプリングで、別のサンプラーを指定しない限り、リクエストごとにtemperatureを0にする必要がある。

背景 限定ベータから3週間で一般公開

SGLangを運営する非営利団体LMSYSは10月22日、Trainium2とTrainium3向けの限定ベータを始めた。最初の強化学習テストでは、Trainium3がQwen3-30B-A3Bのロールアウトを生成し、LMSYSのMilesフレームワークがエヌビディアH200の1ノードで方策を学習した。LMSYSは学習が安定して完了したとしている。

今回の公開は、エヌビディア、AMD、インテルが11月12日にLMSYSの「SGLangコンソーシアム」に加わった直後となった。TrainiumをほかのPyTorchデバイスと同じように扱えるようにし、GPUの作業を少ないコード変更で移せるようにするというAWSの戦略の延長線上にある。

今後の見通し 焦点はコストと速度

AWSはGPUとの直接比較を公表していないため、実際の効果は開発者が自らのワークロードで確かめる必要がある。プラグインの修正がSGLang本体に取り込まれるかも注目点だ。

よくある質問

SGLang-Neuronは無料か。
コードはApache 2.0のオープンソースである。ただし実行には有料のAWS Trainiumインスタンスが必要だ。

既存のSGLangのコードを書き換える必要はあるか。
AWSは不要だと説明する。通常どおりSGLangのサーバーと生成APIを使い、環境変数1つでプラグインを選ぶ。

参考資料

#SGLang-Neuron #AWS Trainium #トレイニアム #Trainium3 #SGLang #推論エンジン #AIチップ #Kimi-K3 #オープンソース #LLM推論
チ
チョン・スン
AI Newsway · 開発者

AI Newswayの編集責任者です。AI、開発ツール、クラウド、生産性テクノロジーの記事を執筆しています。

この記者の他の記事 ›
著作権者 © AI Newsway 無断転載・再配布、AI学習・活用禁止
共有
f X K

コメント 0

現在コメントの投稿は無効になっています。

最初のコメントを書いてみましょう。