MLCommons发布了MLPerf推理v6.1基准测试结果，其中引入了两项针对新兴AI部署模式（包括Agentic Inference）的新测试。
旧金山，2026年9月16日 —— MLCommons 公布了其行业标准 MLPerf Inference v6.1 基准测试套件的最新结果。此次发布创下参与机构数量的新纪录，并引入了两项与新兴 AI 推理部署趋势相契合的新测试。此外，该版本还首次提供了几款近期推出或即将推出的 AI 平台的同行评审性能结果，与一年前的结果相比，性能提升高达 5.7 倍。
开源的 MLPerf Inference 基准测试套件以架构中立、具有代表性且可复现的方式评估系统性能。通过建立标准化的测试环境，它推动了整个行业的创新、性能提升和能源效率优化。这些发布的成果提供了关键的技术洞察，使采购和部署 AI 系统的客户能够基于可信的实证数据做出明智的决策。
MLPerf Inference v6.1 增加了两项新测试，反映了行业在数据中心和边缘环境中向更复杂、多步骤及代理式（agentic）AI 推理部署的转变。端到端检索增强生成（RAG）基准测试评估了用于问答的多个不同 AI 模型的复杂流水线。该工作负载将任务分解为连续步骤：嵌入模型将查询转换为向量，检索器从向量数据库中拉取候选段落，重排序器优化列表，一个或多个大语言模型对数据进行推理以生成答案。该测试捕获了两个相关任务的性能数据：摄取文档语料库以构建向量数据库，以及在预建数据库上执行查询-回答操作。有关端到端 RAG 基准测试的更多详细信息可在网上查阅。
边缘代理推理基准测试捕捉了行业从单次交互向复杂多轮工作负载（如代理式编码）的转变。与单次推理不同，代理式工作负载维护着不断增长的历史对话记录，其中每个查询都建立在之前的交流之上。模型不断合并证据收集与迭代推理，以达到最终结果。这种使用模式解锁了显著的新能力，同时也大幅增加了计算需求。随着代理式 AI 在边缘的部署增长，运营商在为拥有固定内存、处理、电源和上下文限制的个人用户提供推理服务时，面临着独特的性能挑战。本测试借鉴即将发布的 MLPerf Agentic 数据中心基准测试的框架和方法论，通过纳入边缘模型和量化、单流编码工作负载、延迟指标以及统计上稳健的准确性门控，将该方法专门应用于边缘环境。它包含两个任务：在严格的时间约束下测量工作负载的准确性，以及评估准确性检查是过程固有部分的确定性工作负载的性能。有关边缘代理推理基准测试的更多信息可在网上查阅。
MLPerf Inference v6.1 还集成了对推测解码（speculative decoding）的支持，这是一种广泛采用的生产优化技术，可在单次前向传递中预测并验证多个 token。目前，该功能已在两个推理基准测试的交互式场景中得到支持，并在 GPT-OSS 任务中进行了额外的实现。
“我们正在努力确保 MLPerf Inference 基准测试继续反映 AI 社区最重视的场景，”MLPerf Inference 工作组联合主席 Miro Hodak 表示。“我们添加了端到端 RAG 测试，因为很明显，问答已经超越了仅仅是在语料库上训练的大型语言模型；利益相关者需要了解当今正在构建的多步骤、多组件流水线的实际性能。同样，我们添加了边缘代理推理测试，因为具有代理属性的复杂推理系统越来越多地托管在边缘计算设备上，这为客户今天面临的一系列新的性能挑战。我们致力于提供及时且相关的性能数据，这些数据反映了现实世界的生产系统和正在部署的性能优化。”
本次提交周期凸显了 AI 技术的快速演变，参与者展示了涵盖加速器、主板、工作站和服务器的多样化硬件配置。共有五种新型处理器和加速器接受了评估：商用 AMD Ryzen AI Max+ 395、AMD Instinct MI350P 和 Intel Arc Pro B70，以及目前处于预览阶段的 NVIDIA Rubin 和 NVIDIA Vera Rubin NVL72。提交作品中还包括 MLPerf Inference 基准测试史上测试过的最大系统，由 512 个加速器和两种新型异构架构组成。第一种架构将高性能网络与来自竞争对手供应商的加速器配对，第二种架构则在地理分布的配置中横跨太平洋。
性能增益持续累积，反复打破 AI 加速器能力的纪录。在视觉语言模型（VLM）测试中，顶级每加速器服务器场景的性能较六个月前的 v6.0 结果提升了 2.99 倍。同样，Deepseek R1 测试的成绩较一年前的 v5.1 结果提高了 5.7 倍。这些累积的性能增益直接转化为终端客户能力的扩展，使得更高的用户并发率和更复杂的推理工作负载成为可能。
“凭借 MLPerf Inference 基准测试的关键数据，AI 社区再次证明了‘可测量的即可改进’这一理念，”MLPerf Inference 工作组联合主席 Frank Han 表示。“随着工作负载及其底层系统在更广泛的形态因子和物理配置中在能力、规模和复杂性方面不断提升，我们清楚地看到业界重新关注确保推理能够充分利用硬件、软件和架构方面的进步——无论是在数据中心还是在边缘。借助 Inference v6.1 基准测试的性能数据，客户可以更好地理解成本效益权衡，并就如何采购和部署其 AI 系统做出明智的决策。”
MLPerf Inference v6.1 基准测试吸引了创纪录的 30 家参与机构：AMD、ASUSTeK、Atlas Inference、Cisco、CoreWeave、Crusoe、Dell、Fujitsu Limited、GigaComputing、Google、Hewlett Packard Enterprise、Intel、Inventec Corporation、KRAI、Lambda、MangoBoost、Microsoft Azure、MiTAC、Nebius、NVIDIA、Oracle、Orrick、Quanta Cloud Technology、RedHat、ScitiX、Supermicro、Telecommunications Technology Association、VibeHPC、Wiwynn 以及个人贡献者 Naeem Khoshnevis。
“我想欢迎我们的六位首次提交者：Atlas Inference、Crusoe、Orrick Industries LLC、ScitiX、VibeHPC 以及个人贡献者 Naeem Khoshnevis，”MLPerf 负责人 David Kanter 说。“AI 社区参与的浪潮表明我们的工作很重要，并且正在为利益相关者带来改变。”
此外，超过一半的提交者使用了 MLPerf 新的面向 API 的工具包，这是即将推出的 MLPerf Endpoints 基准测试套件的基础。该工具包采用真正的客户端-服务器架构，通过行业标准 API 传输推理查询和结果，更准确地反映了现实世界的数据中心部署情况。“我们很高兴看到提交者拥抱我们以客户为中心的工具和工作负载，并与我们合作改善整个行业的 AI 基准测试水平，”Kanter 说。“展望未来，MLPerf Endpoints 将取代我们基准测试系列中的 Inference，而我们面向 API 的工具包的迅速采用将有助于实现这一过渡的无缝衔接。”
要查看 MLPerf Inference v6.1 的结果，请访问官方数据中心和边缘基准测试页面，并查阅补充文档以获取详细的提交细分数据。数据中心结果的交互式可视化可通过 https://mlcommons.org/visualizer 上的 MLPerf 基准测试仪表板访问。提交者还提供了补充声明，以对其方法论和发现进行背景说明。
MLCommons 是全球 AI 基准测试领域的领导者。该开放工程联盟得到超过 130 家成员组织和附属机构的支持，始终联合学术界、工业界和民间社会，以衡量和推进人工智能的发展。该组织成立于 2018 年，围绕最初的 MLPerf 基准测试建立，随后迅速扩展为一套全面的行业标准，旨在量化机器学习性能并促进技术透明度。通过协作工程，MLCommons 继续开发评估 AI 系统在准确性、安全性、速度和效率方面所需的基准测试和指标，赋能客户应对权衡取舍并做出明智的采购决策。