高通与Cirrascale合作,推进新一代节能型人工智能推理。
以下为该报道的中文摘要(未完整翻译原文),保留了全部数字与机构名:
**高通 Dragonfly AI200 通过 Cirrascale 开放评估**
高通技术公司(Qualcomm Technologies, Inc.)与 Cirrascale Cloud Services 宣布,专为机架级 AI 推理打造的新一代方案 Qualcomm Dragonfly AI200 现已面向部分选定客户开放评估,评估通过 Cirrascale 进行。
随着生成式 AI 从模型开发转向大规模部署,推理性能、功耗和成本成为云服务商和企业的关键考量。Dragonfly AI200 旨在应对这一挑战,结合大容量内存、机架级性能和针对推理优化的软件栈,帮助客户以具有竞争力的"每美元每瓦性能"部署大语言模型、多模态及其他 AI 工作负载。
借助此次合作,Cirrascale 为部分客户提供 AI 云环境,允许其使用自有模型和工作负载对 Dragonfly AI200 进行评估与验证。两家公司将支持平台验证、工作负载特征分析、基准测试和概念验证。
Cirrascale Cloud Services 首席执行官 Dave Driggers 表示,AI 的经济性正日益演变为推理的经济性,客户需要高效、可扩展的基础设施;双方合作可让客户评估专为下一代 AI 推理打造的新架构。
据介绍,Dragonfly AI200 每张卡配备 768 GB LPDDR 内存,面向万亿参数规模的下一代基础模型推理设计。该机架级方案还结合了直接液冷、PCIe 纵向扩展、以太网横向扩展和机密计算,并配套 Qualcomm AI Management Suite 及对主流 AI 框架的支持。
Cirrascale 还提供专用 AI 云基础设施运营、托管服务,以及无入站和出站费用的透明固定费率商业模式。
高通技术公司数据中心业务执行副总裁兼总经理 Tony Pialis 表示,AI 推理正成为数据中心最重要的计算负载之一,行业需要更高效的方案;AI200 将高通在高性能、低功耗 AI 计算方面的优势带到机架级基础设施中。
双方预计,此次合作将为高通多代数据中心 AI 推理路线图的持续合作奠定基础。
**活动信息**
Dragonfly AI200 现已面向部分选定客户通过 Cirrascale 开放评估。11 月 17 日至 18 日,将在芝加哥 SC26 大会上于 Cirrascale 展位 #1046 进行演示。
此外,高通技术公司高级副总裁(工程)Rashid Attar、Cirrascale 首席执行官 David Driggers、Meta 研究科学家兼技术负责人 Pavan Balaji,以及 Imec 计算系统扩展组合副总裁 Greg Yeric 将于 11 月 18 日(周三)上午 8:30 至 10:00 参加 TechArena 早餐论坛,讨论近存计算与 AI 基础设施的未来。论坛可在线报名。