高通推出Dragonfly数据中心芯片路线图,针对代理AI工作负荷优化,具有高带宽内存集成。
高通科技公司发布了一份为代理型AI时代设计的全面数据中心路线图,公布了包括数据中心级CPU、AI推理加速器、高性能连接和定制芯片的产品组合。该公司新的平台战略优先考虑性能功耗比和令牌吞吐量,同时降低总拥有成本。
Dragonfly C1000 CPU是该战略的基础——一款专为代理型、通用和AI头节点工作负载设计的数据中心处理器。C1000采用高通自主设计的Oryon核心构建,优化频率超过5 GHz,采用芯粒架构,拥有超过250个核心,根据高通的估计,其单位功耗性能是现有竞争对手服务器CPU产品的两倍多。商业可用性目标为2028年。
与CPU相辅相成的是高通高带宽计算(HBC),一种近存储计算架构,通过3D堆叠硅将计算与加速内存带宽相结合。这项技术直接解决AI的数据移动瓶颈。在HBC Gen 1中,高通AI250的设计目标是每张卡提供133 TB/s的速率——相比采用LPDDR5X的AI200,有效内存带宽提高18倍。HBC Gen 1的商业采样预计在2027年中期进行。第三代Dragonfly AI300以此为基础,采用HBC Gen 2,旨在实现相比AI200带宽提高54倍。AI300支持风冷和直接液冷两种冷却方式,针对大型语言模型、大型多模态模型和代理型AI工作负载的高吞吐量、低延迟推理,商业采样预计在2028年进行。
路线图进一步扩展到包括为下一代AI和云基础设施设计的定制芯片,通过硅、系统和软件的端到端协同设计开发。高通的连接产品组合涵盖芯片间、铜质、光学和校园范围互连,支持在光学、有源光缆和有源电缆应用中的高带宽800G和1.6T连接,校园范围部署可扩展到20公里。
高通已与Meta达成多年、多代协议,使用Dragonfly C1000为其下一代服务器集群提供动力。超过35家全球技术和AI生态领导者支持该公司的数据中心愿景和商业解决方案。正如高通总裁兼首席执行官Cristiano Amon所指出的,代理型AI驱动了对数据中心推理能力需求的增加,这正好发挥了高通在高性能低功耗计算方面的优势。高通科技公司数据中心事业部执行副总裁兼总经理Tony Pialis强调了在分布式基础设施上协调多种计算类型的重要性,以及通过统一的机架级Dragonfly平台解决内存带宽和功耗消耗关键瓶颈的必要性。