데이터센터용 가속기를 설계하는 데 9개월은 결코 넉넉한 시간이 아니다. 통상 걸리는 기간의 절반, 때로는 그보다도 짧다. OpenAI는 화요일 Hot Chips 컨퍼런스에서 하드웨어팀이 Jalapeño의 초기 설계부터 테이프아웃까지를 그 기간 안에 마쳤다고 밝혔고, 일정을 이만큼 압축한 공을 상당 부분 자사 모델에 돌렸다.
이 칩은 지난해 10월 공개됐으며 브로드컴과 긴밀히 협력해 개발됐다. 이번 주 OpenAI는 여기에 처음으로 실측치를 붙였다.
실리콘을 짜는 모델
가장 눈에 띄는 대목은 성능 그래프가 아니다. OpenAI에 따르면 GPT-OSS의 어텐션과 전문가 혼합(MoE) 블록 일부를 AI가 구현한 버전이 자사 전문가들이 직접 작성한 버전보다 1.5~1.8배 빨랐다.
이는 커널 단위의 결과다. 모델 전체가 그만큼 빨라졌다는 뜻은 아니다. 다만 사람 전문가만이 아니라 기계도 능숙하게 프로그래밍할 수 있는 부품을 설계 목표로 삼았음을 시사한다.
제조 이후에도 같은 방식이 이어졌다. 엔지니어들은 Codex와 GPT-Astra, 그리고 이전 모델들을 활용해 오픈웨이트 모델 세 종을 두 달 만에 고성능 수준까지 끌어올렸다. 셋 모두 Jalapeño의 원래 양산 계획에는 없던 모델이었다. OpenAI는 설계·측정·검증 주기를 단축한 것이 일정을 앞당긴 요인이라고 설명한다.
벤치마크가 말하는 것
OpenAI는 SemiAnalysis가 운영하는 공개 추론 벤치마크 InferenceX로 이 칩을 측정했다. 사용된 모델은 GPT-OSS 120B, DeepSeek R1 670B, Kimi K2.5 1T 세 가지다.
세 모델 전반에서 Jalapeño는 와트당 1.5~1.9배 많은 작업을 처리했다. 종단 지연은 1.7~3.6배 줄었다. 상호작용이 많은 워크로드에서는 그 격차가 2.1~4.1배라고 회사는 밝혔다.
발표 자료에는 훨씬 큰 수치도 등장하는데, 이는 신중히 읽어야 한다. 기존 최고 수준의 토큰 간 시간(TBT) 동작점에서 측정했을 때 모델에 따라 와트당 처리량이 8.6~104.3배였다는 것이다. 이는 일반적인 속도 향상이 아니라 응답성을 특정 수준으로 고정한 상태에서의 비교다.
효율 수치는 각 가속기의 공표 전력 등급을 기준으로 한다. Jalapeño의 등급은 700와트지만 실제 측정 중에는 550와트를 넘지 않았다. The Register는 전체 시스템이 칩 128개, 1.7엑사플롭스, HBM 27TB로 구성된다고 전했다.
구조적 선택
언어 모델 서빙은 성격이 다른 두 작업을 이어 붙인 일에 가깝다. 최초 프롬프트를 처리하는 단계는 연산에 묶이고, 토큰을 하나씩 뱉어내는 단계는 메모리 대역폭에 좌우된다. 코어와 패키지 사이로 데이터를 옮기는 비용은 두 단계 모두에서 발생한다.
보통은 배치 처리로 이 문제를 덮는다. 사용률은 올라가지만 개별 사용자의 대기 시간이 길어지는 대가를 치른다. OpenAI는 그 절충을 덮는 대신 설계로 풀었다. 생성 중 만들어지는 KV 캐시를 포함한 모델 상태를 명시적으로 배치하고 로컬에 고정할 수 있게 했고, 네트워킹 패브릭은 하나의 작업을 가능한 한 연결된 시스템 안에 머무르게 한다.
회사의 하드웨어를 총괄하는 리처드 호는 기자들에게 이번 수치가 기존 최고 수준을 상당히 앞선 진전이라고 말했다. 전력당 더 많은 고객을 감당하면서도 응답은 빠르게 유지할 수 있다는 것이 그의 설명이다.
아직 정리되지 않은 것
비교 기준에는 따져볼 지점이 있다. Jalapeño는 현재 출하 중인 엔비디아 블랙웰 시스템과 비교됐다. 호는 배치 시점을 2026년 말 극소량으로, 의미 있는 물량은 2027년 중이라고 밝혔다.
그때쯤이면 엔비디아의 루빈 세대가 현장에 들어와 있을 것이다. 오늘의 하드웨어를 이기는 것과 자사 출시 시점에 이기는 것은 다른 문제다. 또한 이번 측정은 제조사가 자사 실리콘을 대상으로 수행한 것으로, 업계에서 통상적인 관행이긴 하나 제3자 검증은 아니다.
OpenAI는 그와 무관하게 엔비디아를 비롯한 공급사로부터 계속 구매하겠다고 밝혔다. Jalapeño 후속 세대 두 개는 이미 진행 중이며, 회사는 이 제품군을 모델·칩·메모리를 함께 설계하는 다세대 플랫폼으로 규정한다. 목표는 공급사로부터의 독립이 아니다. 모델이 변할 때 실리콘을 어떻게 움직일지 스스로 정하겠다는 것이다.
