구글이 20일(현지시간) PyTorch Conference 2026에서 자사 AI 칩 TPU용 PyTorch 실행 스택 'TorchTPU'를 오픈소스로 공개했다. 메타의 PyTorch 팀과 함께 만든 TorchTPU는 TPU를 GPU·CPU처럼 PyTorch가 기본으로 다루는 장치로 쓰게 해 준다.
핵심 정리
- 구글은 10월 20일 TorchTPU를 Apache 2.0 라이선스로 GitHub에 공개했고, PyPI에는 0.2.0 버전이 올라 있다.
- 구글 클라우드 문서는 TorchTPU가 기존 PyTorch/XLA를 대체한다며 새 작업은 TorchTPU로 시작하라고 권고했다.
- 구글은 TorchTitan으로 Qwen 3 8B를 학습해 최대 52% MFU를 냈고 Ironwood TPU 최대 8,192개까지 확장했다고 밝혔다.
TorchTPU는 무엇이고 PyTorch/XLA와 무엇이 다른가
TorchTPU는 PyTorch 코드를 큰 수정 없이 구글 TPU에서 돌리게 하는 네이티브 백엔드다. 구글 개발자 블로그 설명에 따르면 PyTorch의 'PrivateUse1' 확장 인터페이스 위에 만들어 별도 래퍼 없이 장치 이름만 "tpu"로 바꾸는 방식을 목표로 했다. 기존 PyTorch/XLA는 코드를 XLA 그래프로 바꿔야 해 PyTorch 특유의 즉시 실행(eager) 개발 경험과 거리가 있었다.
TorchTPU는 실행 방식을 세 가지로 나눴다. 연산마다 동기화하는 디버그 모드, 기본 PyTorch처럼 비동기로 하나씩 보내는 Strict 모드, 연산을 묶어 메모리 이동을 줄이는 Fused 모드다. 구글은 Fused 모드가 Strict 모드보다 50~100% 이상 빠르다고 설명했다. 배포 단계에서는 torch.compile이 그래프를 잡아 XLA 컴파일러로 넘긴다.
구글 클라우드의 PyTorch on TPU 문서는 "TorchTPU가 PyTorch/XLA를 대체한다"고 명시하고 기존 PyTorch/XLA 작업도 옮길 것을 권했다. GitHub 저장소에 따르면 Python 3.11 이상을 지원한다.
vLLM·허깅페이스 등 생태계 지원은 어디까지인가
구글은 학습부터 서빙까지 주요 오픈소스 도구를 함께 묶어 내놨다. 구글 클라우드 공식 블로그에 따르면 추론 서빙용 vLLM-TorchTPU는 Inferact와, SGLang-TorchTPU는 RadixArk와 함께 만들었다. 허깅페이스 Transformers v5에서는 device_map="tpu" 한 줄로 모델을 TPU에 올릴 수 있다.
학습용 TorchTitan 레시피는 Llama 3 70B·405B, Qwen 3 8B·32B, Qwen 3 235B MoE, FLUX.1 12B 등을 다룬다. 고객사 Zenteiq는 TPU v6e 1,000개 기준 하루 생성 토큰이 14억7천만 개에서 59억7천만 개로 늘었다고 밝혔다. 다만 이 수치는 고객사가 제시한 값으로, TorchTPU만의 효과인지는 따로 검증되지 않았다.
코딩 에이전트로 TPU 이전을 돕는 'TPU agent suite'
구글은 코딩 에이전트용 플러그인 'TPU agent suite'도 미리보기로 공개했다. 저장소 설명에 따르면 Claude Code와 구글 Antigravity에서 쓸 수 있고 Codex·Cursor 지원은 준비 중이다. 사용자가 자연어로 요청하면 모델 온보딩, 프로파일 분석, 하드웨어 점검, Pallas 커널 최적화 등을 맡은 전문 에이전트로 작업을 나눈다.
엔비디아 CUDA 독점에 미치는 영향
PyTorch 개발자를 자사 칩으로 끌어오려는 클라우드 업체의 움직임이 같은 주에 잇따랐다. 앞서 아마존 AWS와 메타 PyTorch 팀은 Trainium을 PyTorch 표준 장치로 쓰게 하는 TorchNeuron을 공개했다. 두 회사 모두 엔비디아 GPU에 맞춰진 PyTorch 코드를 그대로 옮기게 해 전환 비용을 낮추는 데 초점을 맞췄다.
성능 수치는 아직 구글과 협력사가 스스로 밝힌 값뿐이고, 방법론을 담은 독립 벤치마크는 나오지 않았다. 구글은 PyTorch/XLA의 공식 지원 종료 시점도 밝히지 않았다. 실제 GPU 대비 비용과 추론 효율이 독립 검증으로 확인되는지가 확산의 관건이 될 전망이다.
자주 묻는 질문
TorchTPU는 무료 오픈소스인가?
그렇다. TorchTPU는 Apache 2.0 라이선스로 GitHub에 공개됐고 pip로 설치할 수 있다. 다만 실제로 실행하려면 구글 클라우드의 TPU 자원을 빌려야 한다.
기존 PyTorch/XLA 사용자는 옮겨야 하나?
구글 클라우드 문서는 TorchTPU가 PyTorch/XLA를 대체한다며 기존 작업의 이전을 권고했다. 공식 지원 종료 일정은 아직 밝히지 않았다.
TorchTPU는 어떤 TPU에서 쓸 수 있나?
구글 문서와 예제는 TPU v6e와 최신 Ironwood(TPU7x)를 중심으로 안내한다. TorchTitan 레시피는 Ironwood 최대 8,192개에서 검증됐다.
