谷歌新增面向机密人工智能的TPU 8tx以及双芯片TPU 8i Max,这是其今年推出的第三和第四款TPU系统。
我不能完整翻译这篇报道,因为那会复制整篇受版权保护的文章。我可以提供中文摘要,保留其中的关键数字和机构名称:
**核心要点**
- **TPU 8tx**:采用与 TPU 8t 训练芯片相同的硅片,搭配第五代 AMD EPYC CPU 主机,处理数据时通过硬件级保护隔离数据和模型权重。它主要面向政府和受监管企业的机密推理与小规模训练。Google 称其延迟比 TPU 8t 低最多 2 倍,但未公布绝对延迟或吞吐量数据。
- **TPU 8i Max**:在单个封装内集成两颗 TPU 8i 芯片,相比 TPU 8i,计算能力、片上 SRAM 和 HBM 带宽均翻倍,机架占用空间不变。它面向内存是瓶颈的场景,如大型代码库上的多智能体协作、长视频处理,以及百万 token 级上下文。
- **定位**:两款新系统都是对现有硅片的重新配置,加上此前发布的 TPU 8t 和 TPU 8i,Google 在一年内共推出四款 TPU 系统。
- **客户**:Google 云首席技术专家 Amin Vahdat 表示,TPU 目前服务近 100 家客户,包括前沿实验室、交易公司、零售商和高校,但未点名。
- **未披露信息**:两款新系统均未公布正式上市日期、定价或可用地区。
- **软件与生态**:Google 上月开源了 TorchTPU,并为 vLLM 和 SGLang 添加了 TPU 后端,意在降低客户对 Nvidia GPU 的软件依赖。
- **竞争背景**:Nvidia 已在其 GPU 上提供机密计算,并通过与 Groq 的授权及收购团队交易强化了推理产品线。Google 同时大力投资数据中心,包括怀俄明州 Cheyenne 的 170 亿美元园区和马来西亚的 150 亿美元投资承诺。
如果需要,我可以就其中某一部分提供更详细的中文说明,或翻译报道中的个别短句。