DeepSeek이 10월 20일 자사 서비스용 추론 프레임워크 DeepInfer를 Apache 2.0 라이선스로 GitHub에 공개했다. 현재 지원 모델은 DeepSeek-V4.1-Flash 하나이며, NVIDIA SM100 GPU와 화웨이 Ascend 950 NPU에서 돌아간다.
핵심 정리
- DeepSeek은 10월 20일 DeepInfer 코드를 Apache 2.0 라이선스로 GitHub 저장소 deepseek-ai/DeepInfer에 공개했다.
- DeepInfer는 DeepSeek-V4.1-Flash 전용이며 NVIDIA SM100 GPU와 화웨이 Ascend 950 NPU를 지원한다.
- KV 캐시 시스템, 프리필·디코드 분리, 데이터 병렬 복제본 간 부하 분산은 이번 공개 범위에서 빠졌다.
DeepSeek DeepInfer는 무엇인가
DeepInfer는 DeepSeek이 대규모 상용 서비스에서 모델을 돌리는 데 쓰는 사내 추론 프레임워크다. DeepSeek은 DeepInfer GitHub 저장소에서 이 프레임워크가 자사 대규모 프로덕션 서비스를 움직인다고 소개했다. 오프라인 추론과 일부 서빙 기능을 담았고, 기본 체크포인트는 10월 17일 배포한 DeepSeek-V4.1-Flash-1017이다.
공개된 기능은 모델 실행부터 출력 제어까지 넓다. 최적화 커널과 샘플러 런타임, 어텐션 데이터 병렬(DP)·컨텍스트 병렬(CP), MoE 전문가 병렬(EP)과 부하 재배치(EPLB)가 들어갔다. 초안 토큰을 여러 개 미리 만들어 한 번에 검증하는 DSpark 기능은 기본 초안 길이가 5토큰이다. 정규식·JSON 스키마·EBNF 문법으로 답 형식을 강제하는 구조화 출력도 지원한다.
같은 입력에 늘 같은 결과를 내는 배치 불변 추론과 결정적 샘플링은 NVIDIA 환경에서만 쓸 수 있다. 커널은 DeepSeek이 앞서 공개한 FlashMLA·DeepGEMM·DeepEP 등과 TileLang 자체 커널로 짰다.
DeepInfer 설치 조건과 빠진 기능
DeepInfer를 쓰려면 리눅스, GCC 13 이상, Python 3.12가 필요하다. NVIDIA 환경은 CUDA 13, 화웨이 Ascend 환경은 CANN 9.2를 요구하며, 환경 변수로 가속기를 고른 뒤 빌드 스크립트를 실행한다. 예제 스크립트를 처음 돌리면 기본 체크포인트를 Hugging Face 캐시로 내려받는다.
DeepSeek은 이번 공개본만으로는 완전한 추론 서비스를 꾸릴 수 없다고 밝혔다. KV 캐시 시스템, 프리필과 디코드를 다른 장비로 나누는 분리 구조, 데이터 병렬 복제본 간 부하 분산이 빠졌다. 다만 분리 구조에 필요한 엔진 기능은 대부분 구현돼 있다는 것이 저장소의 설명이다.
성능 그래프는 프리필에 SM100 GPU 4개, 디코드에 64개를 쓴 조건에서 측정했다. 수치는 DeepSeek 자체 측정이며, 저장소에 재현용 스크립트가 함께 올라왔다.
vLLM 기반에 화웨이 칩까지…맥락은
DeepInfer는 주로 오픈소스 추론 엔진 vLLM을 바탕으로 만들었고 SGLang과 TensorRT-LLM에서 아이디어를 얻었다고 DeepSeek은 밝혔다. The Next Web은 vLLM 프로젝트가 DeepInfer의 아이디어를 V4.1-Flash 지원 개선에 활용하겠다고 밝혔다고 전했다. 상용 서비스의 추론 최적화 기법은 AI 기업이 보통 공개하지 않는 영역이어서, 자체 호스팅 기업과 클라우드 사업자가 같은 방법으로 비용을 낮출 여지가 생겼다.
NVIDIA와 함께 화웨이 Ascend 950을 공식 지원한다는 점도 눈에 띈다. 공개 하루 전에는 미국 국토안보부가 연방 민간 기관에서 딥시크 제품을 퇴출하라는 명령을 내렸다. 미국 시장의 문이 좁아지는 가운데 DeepSeek은 오픈소스 공개로 개발자 생태계를 넓히는 쪽을 택했다.
전망
DeepSeek은 이후 모델 지원과 개선 코드를 같은 저장소에 올리겠다고 밝혔다. 빠진 KV 캐시와 분리 구조가 언제 공개되는지, 외부 벤치마크에서 vLLM·SGLang 대비 성능이 어떻게 나오는지가 실제 채택 여부를 가를 전망이다.
자주 묻는 질문
DeepInfer는 상업적으로 써도 되나?
DeepInfer는 Apache 2.0 라이선스로 공개돼 상업적 사용과 수정이 허용된다. 라이선스 고지 등 Apache 2.0의 조건만 지키면 된다.
DeepInfer로 다른 오픈소스 모델도 돌릴 수 있나?
현재 지원 모델은 DeepSeek-V4.1-Flash 하나다. DeepSeek은 향후 모델 지원을 같은 저장소에 추가하겠다고 밝혔지만, 다른 회사 모델 지원 계획은 내놓지 않았다.
DeepInfer를 일반 게이밍 GPU에서 쓸 수 있나?
공식 지원 하드웨어는 NVIDIA SM100 계열 데이터센터 GPU와 화웨이 Ascend 950 NPU뿐이다. 그 밖의 GPU 지원은 저장소에 명시돼 있지 않다.
