🇺🇸 English 🇰🇷 한국어 🇯🇵 日本語
ホーム › 開発者ツール
開発者ツール

エヌビディア・AMD・インテル、推論エンジンSGLangの連合に参加

LMSYS Orgは11月12日、エヌビディア、AMD、インテル、グーグル、メタ、クラウドフレア、Modal、RadixArkを創設メンバーとするSGLangコンソーシアムを発足させた。各社は年2回のロードマップ会議に参加するが、コードの決定権はメンテナーが持つ。

半導体で競合するエヌビディア、AMD、インテルの3社が、グーグル、メタ、クラウドフレア、Modal、RadixArkとともに、オープンソースのAI推論エンジン「SGLang」のコンソーシアムに創設メンバーとして加わった。SGLangを運営する非営利団体LMSYS Orgが11月12日(現地時間)、米サンフランシスコで開いた初の「SGLang Summit」で発足を発表した。

要点

  • 創設メンバーはエヌビディア、AMD、インテル、グーグル、メタ、クラウドフレア、Modal、RadixArkの8社である。
  • 各社は技術担当者を1人ずつ置き、年2回のロードマップ会議に参加する。技術的な判断とコードの採否はSGLangのメンテナーが引き続き担う。
  • 発足に合わせたベンチマークや値下げ、コスト削減の試算は示されていない。協力の枠組みを整えた段階で、成果が測定されたわけではない。
データセンターの通路の両側にサーバーラックとケーブルが並ぶ様子
データセンターのサーバーラック(資料写真) · 사진: kewl / Flickr(CC BY 2.0)

SGLangコンソーシアムとは

SGLangは、大規模言語モデルやマルチモーダルモデルを本番環境で動かすオープンソースの推論エンジンだ。学習を終えたモデルに届くリクエストを振り分け、GPUメモリを管理し、ハードウェアが許す限り速く安くモデルを実行する役割を担う。

LMSYSは発表文で、コンソーシアムはメンバー企業とメンテナーが推論の動向を常に話し合い、共通の優先課題を共同開発につなげる場だと説明した。重点分野は、最先端モデルへの対応、推論(リーズニング)・マルチモーダル処理、分散推論、ハードウェア最適化の4つである。

運営の仕組み コードの決定権はメンテナーに

メンバー企業は、エンジニアリングの知見、実運用からのフィードバック、テスト用の資源、共同開発などで貢献する。年2回のロードマップ会議の合間にはワーキンググループが協業でき、LMSYSはロードマップの方向性と進捗を公開すると表明した。

コードの管理権が企業に移るわけではない。LMSYSは「SGLangのメンテナーが技術的判断とコード採用の責任を持ち続け、プロジェクトはコミュニティ全体に開かれたままだ」としている。

エヌビディア・AMD・インテルがそろって参加した理由

LMSYSはデロイトの推計を引き、2026年にはAI計算全体のおよそ3分の2を推論が占め、2025年の約半分から増えるとした。推論エンジンが各社チップの実際の性能を左右する。

エヌビディアでハイパースケール・HPC部門を率いるイアン・バック副社長は「優れたソフトウェアは、開発者がエヌビディアのコンピューティングからより多くの性能を得る助けになる」と述べた。AMDでAIアプリケーションを担当するラミン・ロアン・コーポレートバイスプレジデントは、SGLangが「AMD Instinct GPUを含むさまざまなハードウェアで動く」と語った。

SGLangの元論文の共著者で、RadixArkの共同創業者兼CEOであるイン・シェン氏は、データセンター新設の難しさを指摘した。「新しいデータセンターを建てるのが難しい中、AIの効率を高めるソフトウェアの手法が極めて重要になる」と話した。

SGLangの規模は

SGLangの公式ドキュメントによると、このエンジンは世界の40万基を超えるGPUで1日に数兆トークンを生成している。LMSYSは利用企業としてメタ、マイクロソフト、グーグル、アマゾン、Thinking Machines Lab、クラウドフレア、Reflection、Modalを挙げた。

対応ハードウェアはエヌビディアとAMDのGPU、インテルのXeonプロセッサー、グーグルのTPU、ファーウェイのAscend NPU、ムーアスレッドのアクセラレーターなどだ。最新の正式リリースv0.5.21(10月2日)には、227人の貢献者による779件のプルリクエストが含まれ、ライセンスはApache 2.0である。

背景:オープンな推論エンジンの競争

オープンな推論エンジンはSGLangだけではない。vLLMと競合しているほか、モデル開発企業も独自の推論コードを公開している。たとえばディープシークは、自社の推論フレームワークDeepInferを主にvLLMを土台に作った。正式なコンソーシアムは、SGLangにチップメーカーと直接やり取りする窓口を与えることになる。

今後の焦点

最初の手がかりは、LMSYSが約束したロードマップの公開更新だ。AMD、インテル、グーグルのハードウェア最適化が、エヌビディア向けと同じペースでSGLangのリリースに反映されるかが注目点となる。すでにSGLangを使うチームにとって、現時点で変わることはない。

よくある質問

メンバー企業がSGLangを支配するのか。
そうではない。メンバー企業はロードマップに意見を出し開発に貢献するが、技術判断とコードの統合はメンテナーが決める。

SGLangは引き続き無料で使えるのか。
使える。Apache 2.0ライセンスのオープンソースのままで、コミュニティ全体に開かれている。

コンソーシアムは高速化や値下げを発表したのか。
していない。関連する数値は示されなかった。

参考資料

#SGLang #SGLangコンソーシアム #LMSYS #AI推論 #推論エンジン #エヌビディア #AMD #インテル #RadixArk #オープンソース
チ
チョン・スン
AI Newsway · 開発者

AI Newswayの編集責任者です。AI、開発ツール、クラウド、生産性テクノロジーの記事を執筆しています。

この記者の他の記事 ›
著作権者 © AI Newsway 無断転載・再配布、AI学習・活用禁止
共有
f X K

コメント 0

現在コメントの投稿は無効になっています。

最初のコメントを書いてみましょう。