차이나텔레콤, 엔비디아 없이 화웨이 칩으로 285B 모델 학습
차이나텔레콤 싱천 AGI 랩이 2026년 11월 17일 기술 보고서를 내고 엔비디아 GPU·CUDA 없이 화웨이 어센드 910C 8,192장과 마인드스포어로 285B 파라미터 MoE 모델을 사전학습했다고 밝혔다. 공개 가중치는 Xing4.0-29B-A4B(아파치 2.0)뿐이다.
차이나텔레콤의 AI 조직 싱천(Xingchen) AGI 랩이 엔비디아 GPU와 CUDA 없이 화웨이 어센드(Ascend) 910C 칩 8,192장으로 2,850억(285B) 파라미터 언어모델을 사전학습한 과정을 공개했다. 기술 보고서 「TeleChat to Xing4」는 2026년 11월 17일 arXiv에 올라왔고, 18일 허깅페이스 '데일리 페이퍼' 1위에 올랐다. 해외 뉴스레터 AI Weekly가 18일자 브리핑에서 다뤘다.

핵심 정리
- 285B 전문가혼합(MoE) 모델은 토큰당 약 17B 파라미터만 쓰고 최대 100만 토큰 문맥을 지원한다.
- 가중치가 공개된 것은 Xing4.0-29B-A4B뿐이다(2026년 9월 17일, 아파치 2.0).
- 프리필 처리량 최대 4.68배, 디코딩 2.67~3.77배 개선을 주장했지만 일부는 시뮬레이션 수치다.
CUDA 없이 학습한 285B 모델
보고서는 오픈소스 모델 대부분이 GPU로 학습되며, 중국산 칩·프레임워크로 규모를 키우는 데 "상당한 시스템 과제"가 있다고 짚었다. Xing 4는 기존 TeleChat 계보를 잇는 시리즈로, 화웨이 프레임워크 마인드스포어(MindSpore)에서 돌아간다.
285B 모델은 45개 층, 라우팅 전문가 256개(토큰당 8개 선택)와 공유 전문가 1개로 구성된다. 연구진은 운영 클러스터의 어센드 910C 8,192장으로 사전학습했다고 밝혔다. 1조 파라미터급 모델도 학습 중이다.
어센드 910C 맞춤 설계
연구진은 910C가 행렬 연산에 강한 반면 벡터 연산과 메모리 대역폭은 제약이 크다며, 60층 대신 '넓고 얕은' 45층 구조로 학습 처리량을 약 10% 높였다. 파이프라인 병렬화를 없애 처리량을 16.1% 더 끌어올렸다.
추론에서는 MLA에 딥시크 희소 어텐션(DSA)과 층간 인덱스 공유를 더해, 256K 문맥에서 프리필 처리량을 최대 4.68배로 높였다. 다만 화웨이 시뮬레이터 결과여서 실제보다 낙관적일 수 있다고 단서를 달았다. 추측 디코더 DSpark는 벤치마크 6종에서 디코딩 처리량을 2.67~3.77배 높였다.
Xing4.0-29B-A4B 성능
깃허브 저장소에 따르면 공개 모델은 290억 파라미터 중 토큰당 40억을 쓰고, 기본 256K(최대 512K) 문맥을 지원한다.
| 벤치마크 | Xing4.0-29B | Qwen3.6-35B | Gemma4-26B |
|---|---|---|---|
| SWE-bench Verified | 75.0 | 76.0 | 53.0 |
| Terminal-Bench 2.1 | 57.5 | 51.5 | 30.0 |
점수는 외부에서 재현되지 않았다. 모델은 vLLM·SGLang 등 일반 도구에서도 돌아간다.
배경과 전망
중국 오픈 모델 상당수는 엔비디아 하드웨어로 학습됐다. 이 규모의 사전학습을 화웨이 칩으로 마친 사례는, 미국 수출 규제 속에서 중국이 자체 칩으로 대형 모델을 만들 수 있는지 가늠하는 자료다. 앞으로 외부 연구자들이 성능과 효율 수치를 검증하게 된다.
자주 묻는 질문
285B 모델을 받을 수 있나? 아니다. 공개된 것은 29B 모델과 FP8·GGUF 버전뿐이다.
화웨이 칩이 꼭 필요한가? 아니다. GGUF 버전은 CPU나 CUDA에서도 돌아간다.
참고 자료
- TeleChat to Xing4: Advancing Frontier Agentic Models on Domestic Chips and Frameworks — 허깅페이스·arXiv(2026년 11월 17일)
- GitHub - XingChen-AGI/Xing4.0-29B-A4B — 차이나텔레콤
- AI News for November 18, 2026 — Daily Edition — AI Weekly(2026년 11월 18일)
댓글 0
현재 댓글 작성이 비활성화되어 있습니다.