安谋称其AGI CPU在七类智能体AI工作负载下，按机架计算的建模性能接近超威半导体EPYC 9755的2倍，评测采用了全新方法。
Arm上周宣布,其面向智能体AI工作负载的数据中心CPU AGI CPU,每机架性能是AMD EPYC 9755的两倍。该数字根据在七项工作负载上测得的芯片性能和服务器功耗假设计算得出。它来自按Arm新CPU评估方法进行测试所得出的机架建模结果,该方法是在Fujitsu、Meta和OpenAI的支持下开发的。
Signal65受Arm委托进行了独立分析并验证了这些结果。结果表明,由于其仅适用于所选处理器、工作负载和配置,因此并不能证明AGI CPU在智能体AI领域整体领先。结果还依赖于Arm自行开发的特定评估方法,而Arm认为该方法应成为评估性能的新标准。包括AMD和英特尔在内的其他芯片厂商,则基于不同的基准测试提出性能主张。这引出三个问题:智能体AI如何改变CPU性能基准,Arm提议衡量什么,以及不同方法之间如何比较。
## Arm的新CPU评估方法
智能体AI正在改变CPU在现代AI数据中心中的角色,要求其处理复杂的多步骤工作流。除了由加速器承担的推理之外,AI智能体还要在隔离环境中执行工具、检索数据并维持状态,其行为类似虚拟用户。CPU负责这些周边工作负载,包括运行工具、处理数据库或API请求、准备数据以及为加速器协调任务。
随着智能体能力推动这些工作负载快速扩展,评估CPU性能不仅要看能同时运行多少个智能体,还要看实际完成了多少有效工作,这一点变得越来越重要。Arm认为,CPU性能越来越取决于系统能在保持响应能力的同时持续完成多少有效工作。如果智能体执行被节流,或加速器因等待CPU而闲置,那么同时支持更多智能体的收益就很有限。电力、散热和物理空间也会限制运营商能部署的硬件数量,这使性能问题延伸到机架层面。
Arm提议的方法以代表性智能体工作负载、可重复的CPU测量以及对端到端任务结果的验证为核心。具体而言,该方法会识别智能体使用的工具和服务,在受控条件下测量其CPU性能,并检验性能提升是否有助于智能体完成任务。例如,数据库测试可以确定系统处理事务的速度;端到端评估则进一步考察更快的数据库访问是否真正改善了依赖它的工作流。
使比较可重复本身也是一项挑战,因为智能体每次运行时可能选择不同的命令,或采取不同的路径完成任务。模型推理和远程服务也会引入延迟。为了将CPU性能与这种变化区分开来,Arm提议回放已记录的智能体操作,使不同系统执行一致的操作序列。其白皮书提出了一个选择和解释这些测量结果的框架,但将制定统一基准测试套件和评分方法的工作留给了行业。
为评估该框架中所述的CPU工作,Arm在其AGI CPU和AMD的EPYC 9755上运行了七项工作负载。这些工作负载涵盖工具类、智能体工作流类以及推理/规划类,另外还包括Sandbench,用于衡量智能体执行时沙箱创建的开销。测试结合了成熟的服务器应用与专注于智能体工作流的基准测试。
| 工作负载 | 代表内容 | 指标 |
|---|---|---|
| MySQL | 智能体工具背后的事务型数据库 | 每秒事务数 |
| NGINX | Web和API请求处理 | 每秒请求数 |
| Milvus | 用于检索的向量搜索 | 每秒查询数 |
| Terminal-Bench 2 | 沙箱容器中的72种智能体任务类型,同时运行128个副本 | 任务完成时间 |
| SWE-bench回放 | 软件工程智能体工作流,259项任务 | 每分钟完成任务数 |
| fastText | CPU词向量训练 | 每秒处理词数 |
| vLLM CPU开销 | 绕过模型计算时的CPU服务开销 | 每秒请求数 |
vLLM的结果衡量的是模型执行周边的CPU工作,而非GPU推理吞吐量。同样,报告中的"推理/规划"类别汇总的是辅助性CPU工作负载,并不评估模型的推理能力高低。
## AGI CPU与AMD EPYC 9755的对比
由于硬件可用性,Arm使用了两种AGI CPU配置:Terminal-Bench 2和SWE-bench回放使用128核、2.8 GHz、DDR5-7200的芯片;其余五项工作负载使用136核、3.2 GHz、DDR5-8000的芯片。AMD的对比方使用了单颗128核EPYC 9755,配备DDR5-6400内存。两个平台运行相同的基准测试脚本,但软件环境不同。Arm使用定制的Linux 7.1.3构建版本,大多数测试基于Ubuntu 24.04,SWE-bench基于Ubuntu 26.04。AMD的主要记录配置使用Ubuntu 24.04和Linux 6.8,具体设置因测试而异。
在芯片层面,AGI CPU在七项测试中的五项中优于其AMD对手。以EPYC 9755为基准,Arm在Terminal-Bench上领先9%,在SWE-bench上领先13%,在fastText上领先97%;但在MySQL吞吐量上落后12%,在Milvus上落后5%。在七个归一化性能比值中,AGI CPU的单芯片优势平均为20%(1.20倍)。
| 工作负载 | 实测单芯片性能(相对EPYC 9755) | 建模单机架性能(相对EPYC 9755) |
|---|---|---|
| MySQL | 0.88倍 | 1.43倍 |
| NGINX | 1.20倍 | 1.95倍 |
| Terminal-Bench 2 | 1.09倍 | 1.93倍 |
| SWE-bench回放 | 1.13倍 | 2.00倍 |
| Milvus | 0.95倍 | 1.54倍 |
| vLLM CPU开销 | 1.16倍 | 1.88倍 |
| fastText | 1.97倍 | 3.19倍 |
| **算术平均** | **1.20倍** | **1.99倍** |
在机架层面,Arm建模的性能平均为AMD的1.99倍,且在全部七项工作负载中均领先。该模型采用的额定服务器功耗估算值为:128核Arm配置950 W,136核版本1,050 W,AMD为1,700 W,均包含内存和其他系统组件。在为网络和配电预留约24 kW机架预算的8%之后,该模型可容纳23台或21台Arm服务器,而AMD仅能容纳13台。
就SWE-bench而言,单机架2.00倍的结果是由约1.13倍的芯片级结果乘以23/13得出的。更大的增益来自于在相同功耗预算内容纳更多服务器。这些预测也采用建模的整机功耗,而非两个满载机架的实际吞吐量测量结果。
Arm的模型还假定AMD服务器配备的内存约为其两倍:约2 TB,而Arm为1 TB。模型按每个硬件线程4 GB分配内存。由于每个AMD核心支持两个线程,而每个Arm核心仅支持一个线程,因此内存功耗配额为AMD 336 W、Arm 192 W。Signal65还计算了按物理核心分配内存时的情况。在这种设置下,AMD的内存和功耗配额下降,Arm的平均建模机架优势从1.99倍降至约1.81倍。AMD 2 TB配置的价值取决于工作负载实际需要多少内存,因为SMT本身并不要求内存加倍。
为验证这些结论,Signal65远程观察了Arm的测试运行过程,并检查了原始日志、结果文件、脚本和配置记录。另一个独立审查团队使用自有代码重建了计算过程,并将全部七项结果的复现误差控制在0.5%以内。不过,Signal65并未在自己的实验室中进行单独的硬件重新运行。此外,它只能独立确认EPYC 9965系统的BIOS和内存设置,而Arm和EPYC 9755系统的这些设置无法进行独立验证。连同软件方面的差异,这些不足略微限制了人们将结果完全归因于处理器本身的把握程度。
## Arm的方法与AMD及英伟达的对比
尽管Arm认为其方法应成为标准,但它并未垄断行业对智能体CPU性能的评估方式。AMD宣传的是每瓦、每美元和每机架的智能体数量。其EPYC 9006页面上的脚注将可用CPU线程作为智能体容量的代理指标,并指出实际吞吐量取决于工作负载和系统。AMD另一份工作负载分析模拟了一个100 kW机架,并通过对六项基础设施工作负载取几何平均值,宣称其EPYC 9965相对英伟达Vera的性能为2.37倍。
相比之下,英伟达强调Vera的单线程性能和内存带宽,并表示一个256颗CPU的机架可支持超过22,500个并发CPU环境。这些数字描述的是不同的事物,并不直接意味着任何特定优势。各厂商在工作负载、功耗假设和汇总方法上各不相同,这使得直接比较CPU变得复杂。
目前的对比对象是AMD第五代、拥有128核的"Turin"处理器。AMD今年推出了专为智能体AI设计的第六代EPYC 9006"Venice"系列。