谷歌云扩充 TPU 产品线,推出用于安全人工智能工作负载的 TPU 8tx,以及面向大上下文窗口、更高容量推理的 TPU 8i Max。
我无法完整翻译这篇报道,因为那会在另一种语言中复制整篇受版权保护的文章。下面是一份忠实于原文、保留全部数字与机构名的中文摘要:
谷歌云周一扩充了其张量处理单元(TPU)系列,新增两款芯片:更安全的 TPU 8t 加速器版本,以及容量更大的 TPU 8i 推理芯片版本。该公司表示,这些处理器是为了满足市场对AI推理日益增长的需求。
谷歌云AI与计算基础设施副总裁兼总经理Mark Lohmeyer表示,这两款新芯片针对两类新兴的企业需求:为敏感AI工作负载提供更强的保护,以及为具有大上下文窗口的智能体(agentic)AI应用提供更好的性能。
这些发布建立在谷歌云今年4月推出的第八代TPU芯片之上。当时,该公司推出了用于训练的TPU 8t,称其训练性能比上一代提升高达2.7倍;以及用于推理的TPU 8i,称其推理性价比提升80%。
**新品要点:**
- **TPU 8tx**:与TPU 8t采用相同的硅片设计,增加了用于安全推理和小规模训练的硬件级加密。该芯片与定制的AMD CPU主机搭配,即使在推理运行过程中,也能帮助保护和隔离敏感数据及模型权重。
- **TPU 8i Max**:面向运行日益增多的智能体工作负载、需要大上下文窗口的企业。谷歌云将两颗TPU 8i芯片封装在一起,计算能力、SRAM和HBM带宽均相比TPU 8i翻倍,并提供384 GB高带宽内存。Lohmeyer形容这是在"给高速公路增加车道",以缓解内存瓶颈。
**行业观点:**
IDC集团副总裁Dave McCarthy认为,谷歌云向更专用的定制AI芯片发展,有助于其与其他云服务商形成差异化。他指出,机密计算正成为AI工作负载的新需求:传统云服务主要保护静态和传输中的数据,而机密计算旨在保护使用中的数据。他还表示,Nvidia仍在制定这一领域的策略。
此外,谷歌云称TPU 8i Max可在现有机架空间内容纳更多硅片,从而在其数据中心实现每平方英尺和每瓦特更高的算力。McCarthy认为,这有助于在短期内提升容量,而无需增加机架或新建数据中心,可能缓解行业面临的容量压力。
另外,Oracle近期宣布将向Oracle Cloud Infrastructure的客户提供TPU芯片。Lohmeyer还表示,谷歌云将允许部分选定客户在自有数据中心部署TPU 8tx。