随着AI基础设施运营商寻求管理不断攀升的GPU支出和电力成本的替代方案,Arm架构正受到关注。
成立三十多年后,在推出面向AI基础设施的CPU设计仅六个月,Arm已崛起为数据中心领域的重要竞争者,而企业正就AI安全、隐私和成本等棘手问题做出艰难抉择。
Arm最初是一家消费技术公司,其芯片嵌入1990年代的PC机和早期手机中,并在随后的二十年中扩展到边缘设备和物联网设备。2016年,软银收购了该公司,注入了研发资金,促使Arm进军高性能计算和云服务器基础设施,最显著的例子是2018年作为AWS Graviton服务器基础架构的核心。
在此过程中,越来越多的商业软件、编程语言和操作系统与Arm芯片兼容,进一步推动了Arm芯片在低功耗优势明显的各类应用中的采用。英伟达在其机架级AI基础设施系统中采用Arm CPU,也进一步提升了这些芯片在行业中的地位。
“直到五年前,这是一场独角戏:只有英特尔或英特尔。”Moor Insights & Strategy创始人兼首席执行官兼首席分析师Patrick Moorhead表示。“一旦AWS为Graviton采用Arm,这就引发了整个行业在Arm之上构建开源堆栈,而曾经被视为二等公民的Arm现在已成为原生支持。如果你是一家企业,你很可能正在使用Arm,甚至自己都不知道。”
与此同时,在过去一年中,代理式AI(agentic AI)和AI基础设施开始从超大规模云厂商和前沿实验室领域走向企业界,由于对成本和治理的担忧,企业开始考虑将AI推理工作负载转移到内部。IBM和Red Hat等供应商还建议企业在CPU硬件上运行轻量级和小语言模型的混合组合,以控制AI基础设施的成本。无论是基于云端还是本地部署,AI推理和代理式AI工作负载越来越多地需要CPU,而不是AI模型训练所使用的更强大、昂贵且稀缺的GPU。
这些趋势与Arm的发展轨迹在2026年3月完全交汇,当时Arm推出了用于AI基础设施的AGI CPU,该公司官方历史将其描述为“定义公司的里程碑”。据公司官员在8月20日的媒体简报电话会上透露,过去一年整体而言,Arm交付了其Neoverse处理核心的超过15亿颗,其中5亿颗是在过去九个月内交付的,这些核心构成了AGI CPU的基础。
此外,今年4月,该公司宣布与IBM达成协议,为开放系统和大型机设计双功能芯片,更多细节于本周在加利福尼亚州斯坦福举行的Hot Chips会议上公布。
HyperFrame Research分析师Stephen Sopko表示:“这些发展正处于AI向企业端推进的核心位置。[支持]大型机完全是关于企业的。”
起初,一些分析师怀疑Arm与大型机集成的合作是否会重蹈此前将IBM Z处理器与x86处理器结合的尝试的覆辙,后者虽然实现了,但遗留问题依然存在。
计划中的新处理器要到IBM下一次System Z刷新周期(2029年)才会出货,但本周两家公司披露的新细节令一些行业观察家感到惊讶和着迷。根据IBM和Arm的新闻简报,即将推出的芯片将在同一处理器核心上同时运行System Z的s390x和Arm Aarch64指令集。
HyperFrame Research创始人兼首席执行官Steven Dickens表示:“目前,所有在大型机上支持的Linux打包和工具都必须移植到s390x,IBM有一个由20人组成的团队专门做这件事——这是一份全职工作。一旦开始出货,就不需要进行移植工作了——几乎所有能在Arm上运行的东西都将能够在该指令集上运行。”
Moorhead说:“这是一种非常新颖的实现方式。我第一次读到它时,心想:‘好吧,你们在里面放了第二块芯片。’不,他们没有。‘好吧,你们每个环境有不同的固件。’不,他们也没有。我对IBM和Arm必须进行的深度集成和工程投入印象深刻。顺便说一句,我认为这对x86来说是一个黑点。”
虽然大型机集成仍然是未来的前景而非当前的现实,但Arm在低功耗边缘和移动环境中的历史意味着它可以在更小的功耗范围内容纳更多的芯片,这是企业在考虑将AI工作负载移至本地时至关重要的考量因素。
据该公司本月发布的新闻简报称,在一个36千瓦的风冷机架中,Arm的AGI CPU可以容纳30台1U服务器,拥有8,160个CPU核心。相比之下,据该公司新闻材料显示,同等规模的x86 CPU机架只能容纳17台2U服务器和4,352个CPU核心。
在某些方面,这种比较有些 apples and oranges(不可比);x86 CPU提供的计算能力更强,尽管其功耗要大得多,但许多最先进的机架级系统也包括GPU,并且需要液冷。Sopko表示,在风冷系统中增加CPU密度为Arm提供了一个潜在的有力卖点,因为企业希望将更多的内容放入现有的本地数据中心基础设施中。
Sopko说:“如果你是采购经理或CIO,并且拥有一个风冷数据中心,你会寻找风冷产品,而不是 necessarily 进行液冷改造。”
此外,Sopko表示,随着物理AI和边缘AI逐渐成为企业的主流,Arm的低功耗特性也将非常适合这些领域。高通将其Arm芯片置于其新的Dragonfly数据中心和Dragonwing边缘计算硬件的核心,并强调这两种环境中AI基础设施的连续性。
Sopko引用了高通首席执行官Christiano Amon在台北Computex大会上的演讲,该演讲解释了包括Arm芯片在内的相同处理器架构如何支撑从边缘到数据中心的各种设备。
Sopko说:“高通的相同架构将从我此刻佩戴的耳机一直延伸到我的电脑、手机、汽车、头顶飞行的无人机,最后进入数据中心。他的观点是,我们将进入一个以智能体为中心的世界,该智能体会跟随你跨越所有这些设备。”
然而,Sopko表示,许多企业也已经拥有大量的x86硬件和一些仍然偏向x86的传统软件,这也是它们在考虑为AI工作负载改造现有基础设施时的另一个考量因素。
主要的x86供应商AMD和Intel一直在提高其芯片的能效,包括在边缘领域,其中AMD正在开发其Ryzen系列,而Intel则在开发Xeon 6和Atom处理器。上周,AMD报告称,它在实现2024年设定的目标方面取得了重大进展,即到2030年将AI训练和推理的机架效率提高20倍。
Moorhead表示,每家企业都必须评估Arm和x86在其自身工作负载下的性能及其相对能效。
他说:“在某些环境中存在能效优势。这是一个非常有争议的话题,每条规则都有例外,因为你可以购买性能卓越的Arm芯片,也可以购买更注重效率的Arm芯片。”
但Sopko表示,Arm已经站稳脚跟——而且x86计算密度的增加可能会腾出数据中心的地面空间,用于放置更多种类的硬件。
他说:“使用新的Intel Xeon 6+芯片,你可以将其安装在相当于之前版本三分之一大小的数据中心地面上。这就引出了一个问题:剩下的三分之二空间你打算用来做什么?”
最终,Informa TechTarget旗下的Omdia的研究表明,未来很可能是混合的。在今年4月对北美400名受访者进行的一项调查中,76%的人同意硅多样性现在比两年前更重要。
Omdia分析师Scott Sinclair领导了这项调查,他表示:“对于企业来说,令牌效率至关重要,但本地部署通常在总体功耗包络方面也有一些硬性约束。关键在于提供可行的选择,既能适应现有环境,又能提供成本效益。”
在企业AI基础设施采购决策中考虑的另一个主要因素是全球内存短缺,包括戴尔和英伟达在内的供应商警告价格将上涨。
一位分析师预测,这将进一步提高CPU(包括Arm)对于AI工作负载的吸引力。
Moor Insights & Strategy分析师Mike Leone表示:“短缺也是推动代理工作转向CPU的原因之一。当昂贵且稀缺的部分是焊接在GPU上的内存时,你希望任何不需要它的部分都运行在更便宜的插槽上。”
相反,内存成本和稀缺性可能会迫使企业在短期内将AI基础设施保留在云端,并推迟向本地的迁移……