商傳媒｜葉安庭／綜合外電報導
谷歌（Google）昨日發表兩款全新人工智慧（AI）運算系統——TPU 8tx與TPU 8i Max，這兩款第八代張量處理單元（TPU）旨在為企業客戶提供更高效能的AI模型訓練與部署方案，同時也明確將矛頭指向AI晶片市場龍頭輝達（Nvidia）。
根據《Decrypt》報導，谷歌的TPU不同於輝達的繪圖處理器（GPU），是專為AI加速而設計的晶片。此次推出的TPU 8tx特別強化資料隱私保護，採用硬體層級的機密運算（confidential computing）技術，能在AI模型運作時將客戶的敏感資料與專有模型參數獨立隔離，有效降低資料外洩風險。TPU 8tx的配置結合了TPU 8t晶片、第五代AMD Epyc處理器，以及谷歌的低延遲Boardfly網路，谷歌宣稱其延遲可比TPU 8t降低達一半，且幾乎不影響效能。
另一款新品TPU 8i Max則主要解決大型AI模型面臨的「記憶體牆」（memory wall）問題，這指的是AI模型在處理龐大資料時，因記憶體頻寬或容量不足而造成的效能瓶頸。TPU 8i Max透過將兩顆TPU 8i晶片整合在一個封裝中，使其運算能力、晶片內SRAM及高頻寬記憶體吞吐量都較TPU 8i提升一倍。谷歌人工智慧與基礎設施技術長暨資深副總裁阿明·瓦哈達特（Amin Vahdat）表示，企業正尋求能處理AI模型巨大Context Window的加速器，以及解決記憶體牆問題的方案。
此外，谷歌也宣布開源TPU Sync軟體，該軟體能加速AI工作記憶體在晶片、伺服器和儲存裝置間的移動，宣稱可將某些資料傳輸延遲與回應啟動時間減少超過90%。谷歌的開源專案TorchTPU也將允許開發者不需修改應用程式，即可直接在TPU上運行PyTorch和Hugging Face模型，藉此擴大TPU的生態系。目前谷歌已服務近百家TPU客戶，包含AI實驗室與大學。
