AI記憶體爆新戰場?AMD、高通傳導入SOCAMM挑戰輝達堡壘

AI記憶體爆新戰場?AMD、高通傳導入SOCAMM挑戰輝達堡壘
AI記憶體爆新戰場?AMD、高通傳導入SOCAMM挑戰輝達堡壘
圖/本報資料庫

商傳媒|記者責任編輯/綜合外電報導

在生成式與代理式AI應用快速演進之際,記憶體成為目前AI運算架構的主要瓶頸。科技媒體《Wccftech》報導指出,原本由輝達率先採用、具備可升級特性的記憶體標準SOCAMM,如今吸引AMD與高通(Qualcomm)相繼展開整合評估,市場預期該標準有望成為下一波AI記憶體主流技術。

根據《韓國經濟新聞》報導,三大晶片巨頭輝達、AMD與高通正積極測試SOCAMM模組於AI伺服器與推論平台的應用潛力,特別是在處理代理式AI(Agentic AI)過程中需要的大量即時記憶體需求。

SOCAMM:兼顧彈性與節能的AI時代記憶體

被譽為「HBM第二」的SOCAMM(系統級晶片先進記憶體模組)是一款基於LPDDR DRAM架構所延伸的創新模組,雖然核心技術來自低功耗領域,但與傳統LPDDR或HBM相比,SOCAMM具備明顯的結構優勢,其記憶體模組非焊接(non-soldered)於主機板,可實現模組化升級,同時具備功耗與容量的平衡。

目前輝達已在其Rubin平台與即將推出的Vera Rubin AI叢集中導入第二代SOCAMM模組(SOCAMM 2),預計今年將部署多達80萬組模組;該模組搭配HBM形成混合架構,使記憶體容量得以擴展至數TB等級,對於代理式AI模型中需要同時保留百萬級Token狀態的運算尤為重要。

AMD vs 高通設計不同:強化功率調控並簡化主機板設計

與輝達初期版本的設計不同,AMD與高通正考慮將兩顆DRAM排成「雙列方形配置」,並且將電源管理IC(PMIC)直接整合於模組上,藉此提升模組的高速穩定性與功率調控精度。這樣的設計不僅使SOCAMM能在更高頻率下運作,更能大幅簡化主機板端的供電與佈線結構,有助於AI伺服器整體的系統成本與熱設計優化。

雖然SOCAMM在頻寬方面仍不及HBM,但其「低功耗、高容量、可模組化升級」的特性,使其成為AI記憶體架構中不可或缺的角色;特別是在代理式AI中,模型不僅要「思考」,還需「記得」數百萬Token的即時狀態,SOCAMM能作為短期暫存記憶體使用,搭配HBM進行層級記憶體管理,形成一種「HBM主記憶+SOCAMM次記憶」的運算新架構。

市場分析指出,隨著SOCAMM模組的技術擴散,未來可能像HBM一樣,成為高效能運算與AI推論平台的基本配備。

美光搶先卡位 產業鏈競爭升溫

目前美光(Micron)為首批SOCAMM記憶體模組的製造商之一,圖片顯示模組體積緊湊,具備高擴展性。隨著AMD與高通加入SOCAMM戰局,預期包括SK海力士、三星電子與其他記憶體模組廠亦將加快相應開發腳步,掀起新一波記憶體產能與供應鏈競賽。

未來隨著更多AI加速器與資料中心平台導入SOCAMM架構,有望牽動全球AI伺服器設計與記憶體標準的變革,也可能催生下一代更具彈性的AI硬體生態系統。