AWS, SGLang-Neuron 공개…트레이니엄서 Kimi-K3 구동
AWS가 11월 12일 오픈소스 추론 엔진 SGLang을 자체 AI 칩 Trainium에서 돌리는 플러그인 SGLang-Neuron을 공개했다. Apache 2.0 공개 프리뷰로 Kimi-K3 등 LLM 9종을 지원하지만 GPU 대비 속도·가격 비교는 내놓지 않았다.
아마존웹서비스(AWS)가 11월 12일(현지시간) 오픈소스 추론 엔진 SGLang을 자체 AI 칩 Trainium(트레이니엄)에서 돌릴 수 있게 하는 플러그인 'SGLang-Neuron'을 일반에 공개했다. RadixArk가 아마존 산하 칩 설계 조직 Annapurna Labs와 함께 내놓은 이 플러그인은 AWS 딥러닝 컨테이너로 배포되며, AWS 머신러닝 블로그는 "지금 쓰는 것과 같은 SGLang 인터페이스"로 모델을 서비스할 수 있다고 밝혔다.
핵심 정리
- SGLang-Neuron v0.1.0은 Apache 2.0 라이선스의 공개 프리뷰다. 대형 언어모델(LLM)은 Trainium3(Trn3) 인스턴스에서, 확산 모델은 trn2.48xlarge에서 돈다.
- 지원 LLM은 Qwen3-0.6B부터 문샷AI의 2조8천억 파라미터 모델 Kimi-K3까지 9종이다. Kimi-K3는 Trainium3 노드 3대에 나눠 최대 100만 토큰 프롬프트를 처리한다.
- AWS 발표에는 GPU 대비 처리량·지연 시간·가격 비교 수치가 없다.

SGLang-Neuron이란…트레이니엄에서 SGLang 그대로 쓴다
SGLang-Neuron은 SGLang 본체 코드 밖에 따로 있는 '아웃오브트리' 플러그인이다. 설치하면 Neuron 플랫폼이 등록되고, 서버를 띄울 때 환경변수 SGLANG_PLATFORM=neuron만 지정하면 된다. 이후 모델 실행과 API 호출은 GPU에서 쓰던 방식과 같다.
API 서버, 요청 처리, RadixAttention, 프리픽스 캐시는 SGLang 본체가 그대로 맡는다. 플러그인은 모델·어텐션·전문가 혼합(MoE) 계층·그래프 실행기처럼 Trainium에 맞춘 부분만 담당한다. 바탕은 AWS의 네이티브 PyTorch 백엔드 TorchNeuron이다.
지원 모델: gpt-oss-120b부터 Kimi-K3까지
프로젝트 GitHub 저장소에 올라온 LLM은 오픈AI gpt-oss-120b, Qwen3-0.6B, Qwen3-8B, Qwen3-30B-A3B, GLM-4-9B, DeepSeek-V2-Lite, GLM-5.2, Kimi-K3, Qwen3.5-397B-A17B다. FLUX.1-dev 등 확산 모델 5종도 지원한다.
가장 큰 배포 사례는 Kimi-K3다. 프롬프트를 읽는 프리필은 Trainium3 노드 1대가, 답을 생성하는 디코드는 노드 2대가 나눠 맡는 '분리형' 구성이다. 두 단계 사이의 KV 캐시는 AWS EFA 네트워크 위에서 NIXL로 옮긴다.
써 보기 전 알아둘 제약
기능·API·지원 모델은 이후 바뀔 수 있다. 플러그인은 SGLang 커밋 43881a7에 고정돼 있고 Neuron SDK 2.33.0이 필요하다. LoRA 어댑터, 임베딩 서버, SGLang 가중치 갱신 엔드포인트는 지원하지 않는다. 기본 설정은 탐욕적(greedy) 샘플링이라, 별도 샘플러 설정 없이 띄우면 요청마다 temperature를 0으로 줘야 한다.
맥락: 제한 베타에서 3주 만에 공개
SGLang을 운영하는 비영리 단체 LMSYS는 10월 22일 Trainium2·Trainium3용 제한 베타를 열었다. 첫 강화학습 시험에서는 Trainium3가 Qwen3-30B-A3B의 롤아웃을 만들고, LMSYS의 Miles 프레임워크가 엔비디아 H200 노드 1대에서 정책을 학습했다. LMSYS는 학습이 안정적으로 끝났다고 밝혔다.
이번 공개는 엔비디아·AMD·인텔이 11월 12일 LMSYS의 SGLang 컨소시엄에 합류한 직후 나왔다. Trainium을 여느 PyTorch 장치처럼 만들어 GPU 작업을 적은 수정으로 옮기게 하려는 AWS 전략의 연장선이다.
전망: 남은 질문은 비용과 속도
AWS가 GPU와 직접 비교한 수치를 내놓지 않은 만큼, 실제 이득은 개발자가 자기 작업으로 시험해 봐야 알 수 있다. 플러그인 수정 사항이 SGLang 본체에 합쳐지는지도 지켜볼 대목이다.
자주 묻는 질문
SGLang-Neuron은 무료인가?
코드는 Apache 2.0 오픈소스다. 다만 실행하려면 유료 AWS Trainium 인스턴스가 필요하다.
기존 SGLang 코드를 고쳐야 하나?
AWS는 아니라고 설명한다. 평소처럼 SGLang 서버와 생성 API를 쓰고, 환경변수 하나로 플러그인을 고르면 된다.
참고 자료
- Deploy frontier AI models on AWS Trainium with SGLang-Neuron — AWS 머신러닝 블로그(2026년 11월 12일)
- sgl-project/sglang-neuron — GitHub
- Announcing the SGLang AWS Trainium Plugin Beta — LMSYS Org(2026년 10월 22일)
댓글 0
현재 댓글 작성이 비활성화되어 있습니다.