d-Matrix推出面向数据中心规模AI推理的Squadron计算集群

d-Matrix Squadron

d-Matrix

扩展至1000+台互联的d-Matrix Corsair XPU，Squadron系统现已面向部分选定客户全面上市，满足超低延迟AI对兆瓦级算力的需求

/PRNewswire/ -- d-Matrix今日宣布推出d-Matrix Squadron，这是一套多机架系统，可在数据中心规模上提供兆瓦级的高效推理算力，以极高的速度和能效运行AI模型。

得益于d-Matrix独特的以内存为中心的计算架构，Squadron集群非常适合AI实验室、企业和主权组织的延迟敏感型AI应用，包括编程、个人智能体、网络安全和高频交易。

Squadron与Arista、Broadcom和Supermicro合作开发，已由d-Matrix部署在其亚利桑那州数据中心，用于内部研发，现正向优先客户发货，供其部署在自有数据中心。此外，Squadron的构建模块——d-Matrix Corsair服务器和d-Matrix Corsair SquadRack——现已全面上市。

d-Matrix创始人兼首席执行官Sid Sheth表示：“凭借我们以内存为中心的计算优势为客户赋能的历程，恰逢d-Matrix从一家专业芯片公司向数据中心计算基础设施业务的转型。”他在OCP全球峰会首日于圣何塞会议中心的主题演讲中发布了Squadron。他说：“随着Squadron开始交付，以及Corsair服务器和SquadRack全面上市，等待已经结束。客户现在可以使用全球最高效的数据中心级推理基础设施，来构建和扩大其超低延迟AI应用。”

Supermicro总裁兼首席执行官Charles Liang表示：“要大规模推向市场下一代AI基础设施，需要深厚的工程、系统集成和制造专长。我们与d-Matrix的合作，展示了Supermicro通过其成熟的数据中心构建模块解决方案（DCBBS®）交付创新AI技术的能力。我们帮助客户部署高效、高性能的推理基础设施，同时加快上线时间，以支持最先进的AI工作负载和异构计算环境。”

整个Corsair平台现已可用

Squadron提供多种配置，可扩展至16个d-Matrix SquadRack（即d-Matrix单个八服务器机架），组成一个完全集成的计算集群，最多可包含1,024个d-Matrix Corsair XPU。这些集群通过d-Matrix JetStream NIC无缝互联，并通过d-Matrix Aviator软件进行优化，以便于部署。由于Squadron集群采用风冷并基于行业标准构建，客户可以直接将其集成到现有数据中心，无需液冷，也无需昂贵且耗时的数据中心建设。

Corsair服务器和SquadRack机架级系统由Corsair XPU、JetStream NIC和Aviator软件构建。客户可以部署单台Corsair服务器、完整的SquadRack，或扩展到多机架Squadron集群，所有配置都基于同一种风冷、行业标准架构，可直接接入现有数据中心。

Squadron助力行业里程碑，验证AFD的可行性

Squadron经过优化，可高速、高效地部署AI。Squadron集群既可以完全在Corsair XPU上运行完整模型，也专为异构环境设计，即在GPU和XPU之间拆分工作负载，这种方法称为解耦计算（disaggregated compute）。

在OCP主题演讲中，Sheth透露，d-Matrix已使用其Squadron系统与GPU服务器配对，成功实现了注意力-FFN解耦（Attention-FFN Disaggregation，AFD）。

该工作表明，当将专家/FFN卸载到Corsair机架时，异构系统能够利用Corsair的能效优势，实现每用户每秒845个token。在64个并发用户的情况下，异构AFD配置的总吞吐量达到每秒20,415个token。

尽管AFD在业界已被作为一种有前景的解耦计算应用进行理论探讨，但d-Matrix是首个在当今可获得的真实硅片上实现该技术的公司。

在OCP全球峰会现场观看AFD演示

如需了解d-Matrix Corsair平台的更多信息，或观看d-Matrix的AFD演示，请访问d-Matrix的OCP展位C82，或通过www.d-matrix.ai/contact-sales联系d-Matrix。d-Matrix研究人员将于10月14日（周三）太平洋时间上午11点和下午2点，以及10月15日（周四）太平洋时间上午11点，在d-Matrix展位现场演示其AFD成果。

关于d-Matrix

d-Matrix是AI推理计算领域的领导者，为数据中心提供以内存为中心的计算芯片、软件和机架级系统，使AI更快速、更节能、更易获取。

通过将计算直接引入内存，d-Matrix克服了传统架构在成本、延迟和功耗方面的限制，既可独立工作，也可与GPU及其他计算平台合作。其多代路线图涵盖从平面到3D的内存-计算基板及机架级系统，旨在帮助超大规模云厂商、前沿实验室和AI云服务商在全球范围内部署先进的AI体验。

随着推理需求加速增长，d-Matrix正在开辟通往零延迟无限推理的道路。欲了解更多信息，请访问www.d-matrix.ai。

SOURCE d-Matrix