AI Newsway

OpenAI 稱自研模型將 Jalapeño 設計週期壓縮至九個月

在 Hot Chips 上,這款與博通合作打造的加速器首次公佈實測資料,以及一個關於程式碼由誰編寫的故事

|4分鐘閱讀0
A processor socket on a computer mainboard. Jalapeño is a custom accelerator OpenAI developed with Broadcom purely for language model inference.
A processor socket on a computer mainboard. Jalapeño is a custom accelerator OpenAI developed with Broadcom purely for language model inference.

九個月對於設計一款資料中心加速器來說並不寬裕,通常所需時間的一半,有時還不到一半。OpenAI 在週二的 Hot Chips 大會上表示,其硬體團隊在這段時間內完成了 Jalapeño 從初始設計到流片的全過程,並把週期壓縮的功勞很大程度上歸於自家模型。

這款晶片去年十月公佈,由博通深度參與工程開發。本週 OpenAI 首次為它附上了實測資料。

編寫矽片的模型

最引人注目的披露與效能圖表無關。OpenAI 表示,由 AI 實現的部分 GPT-OSS 注意力與專家混合(MoE)模組,比公司專家手寫的版本快 1.5 到 1.8 倍。

這是核心層面的結果,並不意味著整個模型提速同樣幅度。但它說明設計目標是一款機器也能熟練程式設計的部件,而不只面向人類專家。

流片之後團隊沿用了同樣的做法。工程師藉助 Codex 與 GPT-Astra 及更早的模型,在兩個月內把三款開放權重模型調至高效能水平。這三款都不在 Jalapeño 最初的量產計劃中。OpenAI 認為,正是設計、測量與驗證環路的縮短帶來了這樣的進度。

基準測試說明了什麼

OpenAI 使用 SemiAnalysis 維護的公開推理基準 InferenceX 進行測試,選用了 GPT-OSS 120B、DeepSeek R1 670B 和 Kimi K2.5 1T 三款模型。

在這三款模型上,Jalapeño 每瓦完成的工作量高出 1.5 到 1.9 倍,端到端延遲降低 1.7 到 3.6 倍。在互動性強的負載中,公司稱差距為 2.1 到 4.1 倍。

材料中還出現了一個大得多的數字,需要謹慎解讀。在此前最佳的詞元間隔(TBT)工作點上測量時,視模型不同,每瓦工作量為 8.6 至 104.3 倍。這是在固定響應性目標下的比較,而非普遍意義上的提速。

效率結論基於各加速器公佈的功率標稱值。Jalapeño 標稱 700 瓦,但實測過程中從未超過 550 瓦。The Register 報道稱,整套系統包含 128 顆晶片、1.7 EFLOPS 算力和 27TB HBM。

架構上的取捨

服務一個語言模型,實際上是把兩類性質不同的工作縫在一起。處理初始提示受算力約束,逐個吐出詞元則依賴記憶體頻寬。而在核心與封裝之間搬運資料,兩個階段都要消耗時間。

常規做法是用批處理掩蓋這個問題:利用率上去了,代價是單個使用者要等更久。OpenAI 沒有掩蓋這一取捨,而是從設計上解決。包括生成過程中產生的 KV 快取在內,模型狀態可以被顯式放置並固定在本地,網路結構則讓單個任務儘可能留在一個互連繫統之內。

負責該公司硬體的 Richard Ho 對記者表示,這些數字標誌著相對現有水平的顯著進步。按他的說法,這款部件能在單位功耗下服務更多客戶,同時保持快速響應。

尚未定論的部分

對比基準值得推敲。Jalapeño 是與當前已出貨的輝達 Blackwell 系統相比的。Ho 表示部署時間為 2026 年底的極小批次,有意義的規模要到 2027 年。

屆時輝達的 Rubin 一代應已投入使用。贏過今天的硬體,與在自己上市時點取勝,是兩回事。此外,本次測試由廠商針對自研晶片進行,雖屬行業常規,但仍非第三方驗證。

OpenAI 表示無論如何都會繼續向輝達等供應商採購。Jalapeño 的後續兩代已在推進,公司將這一系列定位為模型、晶片與記憶體統一規劃的多代平臺。目標並非擺脫供應商,而是自己決定當模型演進時,矽片該如何隨之調整。

對這篇文章有什麼感想?

SJ
載入中...

相關文章

輝達砸下270億美元,卻沒提交過一份併購申報。司法部要問個明白
Tech & Business

輝達砸下270億美元,卻沒提交過一份併購申報。司法部要問個明白

反壟斷執法者首次真正審視這種在AI領域取代了收購的交易結構:輝達已收到司法部的正式資料索取要求。

Seung Jung4 天前
黃仁勳力挺輝達70%增長預期:「投入1美元,回來100美元」
Tech & Business

黃仁勳力挺輝達70%增長預期:「投入1美元,回來100美元」

黃仁勳重申輝達70%的增長指引,意味著明年營收約6800億美元,並以「投入1美元、回來100美元」回應迴圈交易質疑。

Seung Jung6 天前
在輝達自家的工廠排程裡,300億引數模型跑贏了5500億
Tech & Business

在輝達自家的工廠排程裡,300億引數模型跑贏了5500億

輝達與Palantir公佈,在自家物料分配任務上,微調後的30B模型拿到86.7%,通用的550B模型只有55.5%。

Seung Jung4 天前
蘋果推出512GB Mac Studio與M5 Ultra,發力端側AI
Tech & Business

蘋果推出512GB Mac Studio與M5 Ultra,發力端側AI

蘋果釋出搭載M5 Max與全新M5 Ultra的Mac Studio,最高512GB統一記憶體,瞄準希望繞開資料中心、在本地執行大模型的使用者。

Seung Jung7 天前
華盛頓1美元的ChatGPT協議到期,接替者按令牌計費
Tech & Business

華盛頓1美元的ChatGPT協議到期,接替者按令牌計費

OpenAI新的27個月GSA協議免除每席15美元許可費並將令牌費率減半,但自10月1日起把每年1美元的固定收費改為計量計費。

Seung Jung4 天前
ChatGPT編造假證人,新墨西哥州最高法院罰律師5000美元
Tech & Business

ChatGPT編造假證人,新墨西哥州最高法院罰律師5000美元

新墨西哥州最高法院因ChatGPT在上訴狀中編造證人和警方證詞,對律師Stephen Aarons處以5000美元罰款並認定其藐視法庭。

Seung Jung5 天前