OpenAI稱其自研AI芯片Jalapeno在功耗效率和響應延遲上超越英偉達GB300,專攻推理場景,由Broadcom協助開發。該芯片700瓦低功耗實現高性能,旨在降低算力成本。OpenAI稱其同時具備高吞吐量與低延遲,尤其適合大模型。但OpenAI無意完全替代英偉達,仍將維持多供應商合作。
OpenAI正加速推進AI芯片自研,旗下Jalapeno在關鍵基準測試中跑贏英偉達GB300,最快將於今年晚些時候投入實際使用。
8月25日,據彭博,OpenAI表示,Jalapeno在單位功耗可處理的AI工作量和響應速度兩項指標上均領先英偉達GB300。該芯片由OpenAI與Broadcom合作開發,主要用於支撐AI模型推理,有望幫助OpenAI降低對外部芯片供應商的依賴。
與傳統芯片往往需要在吞吐量和延遲之間取捨不同,Jalapeno同時具備高吞吐量和低延遲性能。OpenAI芯片負責人Richard Ho表示,該芯片在700瓦低功耗下即可實現強勁性能,有助於降低數據中心的電力成本。
不過,OpenAI並未將Jalapeno定位為英偉達芯片的全面替代品。Richard Ho表示,OpenAI對算力的需求極為龐大,未來一段時間仍將與多家供應商合作,英偉達也仍是重要合作伙伴。
與此同時,第二代Jalapeno已進入較成熟階段,第三代芯片也已啓動概念設計,OpenAI正試圖通過自研芯片進一步壓低AI基礎設施成本。
測試表現:兩項指標超越英偉達GB300
根據OpenAI使用公開基準測試系統進行的評測,Jalapeno在功耗效率和響應延遲兩個維度均優於英偉達GB300,後者是該測試系統中排名最高的產品。
Richard Ho在採訪中表示,Jalapeno在高吞吐量領域表現突出,意味着能夠以更低成本服務更多用戶;同時,其低延遲表現同樣出色,對於注重響應速度的客戶而言,可以顯著縮短響應時間。
OpenAI使用旗下一款小型開源模型,以及來自DeepSeek和月之暗面的第三方模型對芯片進行了公開測試。其中,Jalapeno在月之暗面旗下Kimi模型上的優勢最為明顯,該模型也是測試中規模最大的模型。內部測試顯示,該芯片在運行OpenAI尚未發布的多款大型高階模型時同樣表現良好。
OpenAI在博客中指出,這表明該芯片的設計「隨着工作負載增大和複雜度提升而愈發體現其價值」。值得注意的是,此次測試並未納入英偉達最新一代芯片Vera Rubin,該產品目前啱啱開始出貨。
定位推理階段,不取代現有供應商
Jalapeno專為AI推理階段設計,即模型完成訓練後響應用戶指令、執行任務的階段,並非用於AI模型訓練,而訓練領域正是英偉達技術的核心優勢所在。
在推理領域,Jalapeno的速度優勢使OpenAI得以實現此前只能依賴特殊內存架構才能達到的性能。OpenAI目前部分模型使用Cerebras Systems的技術,但這類芯片更適合規模較小的模型。
Richard Ho表示,Jalapeno能夠處理更大規模的模型,從而形成差異化優勢。
儘管如此,Richard Ho明確表示,OpenAI短期內不會放棄現有供應商。他表示,公司對算力的需求極為龐大,這也是簽約衆多不同供應商的原因,這種局面還將持續一段時間。
他同時強調,英偉達仍是重要合作伙伴:「英偉達是非常好的合作伙伴,我們持續需要大量英偉達產品。」
研發提速,第二代已在路上
OpenAI表示,公司藉助自身AI模型進一步加速了Jalapeno的研發進程。Jalapeno與Broadcom的合作於去年宣佈,兩家公司曾在今年6月強調該芯片創紀錄的開發速度。
目前,第二代芯片已經推進至較為成熟的階段。Richard Ho表示,預計將在「未來幾個月」完成流片。與此同時,第三代芯片的概念設計工作也已經啓動,目標是進一步壓低OpenAI在全球範圍內大規模鋪設AI基礎設施的成本。
Richard Ho表示,公司已經達到一個能夠切實降低基礎設施成本的功耗和成本水平,「這只是第一步」。