AMD推出AI数据中心旗舰GPU MI350,具有1850亿晶体管,用于高性能推理和训练。
高级微设备公司(Advanced Micro Devices Inc.)今日推出一条名为Instinct MI350系列的新型人工智能芯片产品线,该公司声称该系列产品在某些任务上的性能超越英伟达公司(Nvidia Corp.)的Blackwell B200。该产品系列包括两款显卡:顶级产品MI355X依赖液冷来散热,以及名为Instinct MI350X的缩小规模芯片,它在性能上做出妥协以换取更低的工作温度,可以使用风冷而非液冷。据AMD人工智能集团高级副总裁瓦姆西·博潘纳(Vamsi Boppana)介绍,"凭借灵活的风冷和直接液冷配置,Instinct MI350系列针对无缝部署进行了优化,在风冷机架中最多支持64个GPU,在直接液冷机架中最多支持128个,性能可扩展至2.6艾字节浮点运算量(exaFLOPS)的FP4性能。"
MI350系列采用三维10芯粒设计,其中8个芯粒包含使用台湾半导体制造公司(Taiwan Semiconductor Manufacturing Co.)最新三纳米工艺制造的计算电路,位于两个六纳米I/O芯粒之上,这两个I/O芯粒作为MI350的基础层,负责管理处理器内部的数据流动。MI355X和MI350X都搭载288GB的HBM3E内存,这是一种广泛用于人工智能芯片的快速、大容量内存。HBM3E理论上支持最多16层垂直堆叠的内存层,美光科技公司(Micron Technology Inc.)最新的HBM3E芯片搭载了内存自测模块,这减少了包括HBM3E内存在内的人工智能芯片开发所需的专业设备数量。
根据AMD的说法,MI350系列的内存容量比英伟达旗舰级Blackwell B200显卡多60%。该公司承诺为某些工作负载提供更快的性能,AMD声称MI350芯片处理8位浮点数的速度比B200快10%,处理4位浮点数的速度快超过两倍。MI350对四位浮点数(FP4)数据的支持是它相比早期AMD显卡的改进之一,允许MI350系列的单个芯片运行最多包含520亿个参数的人工智能模型。AMD还承诺相比竞争产品每美元吞吐量增加40%。
AMD将在8芯片服务器配置中提供MI350,该配置可针对某些FP4工作负载提供高达160千万亿次浮点运算(petaflops)的性能,其中一千万亿次浮点运算相当于1000万亿次计算。在后续阶段,AMD计划推出名为Helios的机架系统系列,这将把即将推出的Instinct MI400芯片系列(MI350的后继产品)、该公司的中央处理器和Pensando数据处理单元相结合,后者用于从人工智能集群的其他芯片中卸载基础设施管理任务。
在软件方面,Helios将搭载该公司的ROCm平台,这是一套用于对AMD显卡进行编程的开发者工具、应用程序编程接口和其他组件的集合。最新版本ROCm 7.0使人工智能模型的推理性能比之前快3.5倍以上,可将训练工作负载的性能提升三倍。根据AMD的说法,性能提升的部分原因是优化使ROCm 7.0能够更有效地管理数据移动,更好地处理分布式推理——即将推理工作负载分散到多个显卡上以加快处理速度的任务。博潘纳表示"在过去一年中,ROCm已经迅速成熟,提供了业界领先的推理性能,扩展了训练能力,并加深了与开源社区的融合。"