OpenAI 新晶片稱測試超越輝達 GB300 鎖定 AI 推理降成本

OpenAI 新晶片稱測試超越輝達 GB300 鎖定 AI 推理降成本
OpenAI 新晶片稱測試超越輝達 GB300 鎖定 AI 推理降成本

商傳媒|責任編輯/綜合外電報導

人工智慧(AI)巨擘 OpenAI 近日表示,自家開發的全新 AI 晶片 Jalapeno 在內部測試中,於特定表現上超越了晶片龍頭輝達(Nvidia)現有的 GB300 處理器。這款晶片主要鎖定 AI 模型的『推理』(Inference)階段,旨在大幅降低營運成本並提升反應速度。AI 推理階段指的是 AI 模型完成訓練後,處理使用者指令並生成回應的過程。

根據 OpenAI 晶片主管 Richard Ho 週一及週二受訪時揭露的細節,Jalapeno 在「每單位功耗處理的 AI 工作量」以及「回應速度」兩項指標上表現出色。Richard Ho 指出,該晶片在實驗室測試中展現出高吞吐量(high-throughput),意即能以更低成本服務大量客戶;同時具備低延遲(low-latency)特性,能為重視即時反應的應用提供極佳效能。Jalapeno 在低電壓 700 瓦下仍能維持強勁效能,相較於其他晶片能更有效率地利用電力,這有助於降低 OpenAI 資料中心的營運成本,因為電力消耗是主要開銷之一。

OpenAI 計畫最快在今年稍晚開始將 Jalapeno 導入旗下 AI 模型服務。然而,Jalapeno 主要設計用於 AI 推理階段,並非 AI 模型訓練,而訓練正是輝達技術的強項。此外,Jalapeno 的測試對象是輝達的 GB300 晶片,而非輝達最新一代剛開始出貨的 Vera Rubin 晶片。

OpenAI 與 Broadcom Inc. 合作開發 Jalapeno,並已公開晶片成果,旨在激勵 AI 晶片領域的創新發展。目前第二版 Jalapeno 的開發已進展順利,預計在數月內完成最終設計,第三代晶片的初期概念也正在設計中。儘管 OpenAI 發展自家晶片,OpenAI 晶片主管 Richard Ho 仍強調,輝達是個非常好的合作夥伴,OpenAI 在許多方面仍持續需要大量輝達晶片支援。這也顯示,OpenAI 自家晶片的發展,短期內尚無法完全取代現有供應商。

OpenAI 也使用了 DeepSeek 和月之暗面(Moonshot AI)等第三方的開源模型進行測試,Jalapeno 在月之暗面最大的 Kimi 模型上展現出顯著優勢。產業內其他新創公司如 Etched 和 MatX 亦持續投入 AI 晶片研發,顯示 AI 晶片市場競爭日趨激烈。