AMD宣布Instinct MI325X AI芯片性能声称超越Nvidia H200，并规划MI350进一步升级。
AMD表示其即将推出的256GB Instinct MI325X GPU在AI推理工作负载上可以超越NVIDIA的141GB H200处理器，并承诺下一代MI350加速器芯片将显著提升性能。这家总部位于加州圣克拉拉的芯片设计公司预计将在其在旧金山举办的"推进AI"事件中提出这些主张，届时公司将讨论其计划如何通过Instinct芯片、EPYC CPU、网络芯片、开放软件堆栈和数据中心设计专业知识来对抗AI计算巨头NVIDIA。据AMD数据中心解决方案业务部门负责人Forrest Norrod的说法，"AMD继续按照我们的路线图交付，为客户提供他们所需的性能和他们想要的选择，以便更快地将规模化的AI基础设施推向市场。"在AI模型训练方面，AMD表示MI325X与NVIDIA广受欢迎和强大的H100 GPU的继任者H200相当或略优于H200。
MI325X是Instinct MI300X的后继产品，后者于去年12月推出，使AMD成为在提供强大AI加速器芯片方面与NVIDIA竞争的值得关注的竞争对手。Instinct MI300X配备192GB HBM3高带宽内存和5.3 TB/s的内存带宽，而MI325X——基于与MI300X相同的CDNA 3 GPU架构——配备256GB HBM3E内存，由于内存格式的升级，可以达到6 TB/s的内存带宽。就吞吐量而言，MI325X与MI300X具有相同的性能：8位浮点（FP8）性能为2.6 petaflops，16位浮点（FP16）性能为1.3 petaflops。MI325X预计将从明年第一季度开始出现在来自Dell Technologies、Lenovo、Supermicro、Hewlett Packard Enterprise、Gigabyte、Eviden和其他几家服务器厂商的系统中。这个发布是AMD新战略的一部分，该战略是每年而不是每两年发布一次Instinct芯片，这是为了跟上NVIDIA加速的芯片发布节奏。
在芯片级别与H200比较AI推理性能时，AMD表示MI325X在8组70亿参数Mixtral模型上提供40%更快的吞吐量；在70亿参数Mixtral模型上提供30%更低的延迟，在700亿参数Llama 3.1模型上提供20%更低的延迟。八芯片Instinct MI325X平台具有2TB HBM3e内存、48 TB/s的内存带宽、20.8 petaflops的FP8性能和10.4 petaflops的FP16性能，八个MI325X GPU通过AMD的Infinity Fabric连接，带宽为896 GB/s。根据AMD的说法，MI325X平台相比NVIDIA的H200 HGX平台具有80%更高的内存容量、30%更大的内存带宽和30%更快的FP8和FP16吞吐量，H200 HGX平台配备八个H200 GPU，已于今年早些时候开始发货。与H200 HGX平台比较推理性能，AMD表示MI325X平台在4050亿参数Llama 3.1模型上提供40%更快的吞吐量，在700亿参数Llama 3.1模型上提供20%更低的延迟。在单个GPU上训练70亿参数Llama 2模型时，AMD表示MI325X比H200快10%，而在八个GPU上训练700亿参数Llama 2模型时，MI325X平台与H200 HGX平台相当。
AMD表示其下一代Instinct MI350加速器芯片系列预计将在明年下半年推出，并透露其将相比MI300X提供最高35倍的推理性能提升，这是基于运行1.8万亿参数Mixture of Experts模型的八GPU MI350平台的工程估算。基于AMD的下一代CDNA 4架构并采用3纳米制造工艺，MI350系列将包括MI355X GPU，其将配备288GB HBM3e内存和8 TB/s的内存带宽。由于MI350系列支持新的4位和6位浮点格式（FP4、FP6），MI355X能够实现9.2 petaflops的性能，其中FP8和FP16预计分别达到4.6 petaflops和2.3 petaflops。具有八个MI355X GPU的Instinct MI355X平台预计将配备2.3TB HBM3e内存、64 TB/s的内存带宽、18.5 petaflops的FP16性能、37 petaflops的FP8性能和74 petaflops的FP6和FP4性能。凭借这74 petaflops的FP6和FP4性能，MI355X平台预计将比MI300X平台的FP16能力快7.4倍，其50%更大的内存容量意味着它可以在单个系统上支持最高4.2万亿参数的模型，是MI300X平台所能支持的六倍。AMD于明年下半年推出MI355X后，公司计划在2026年推出采用下一代CDNA架构的Instinct MI400系列。