NVIDIA扩展NVLink Fusion加入NVHBM高带宽存储技术

下一波人工智能浪潮对基础设施提出了新的要求。

随着 AI 代理和万亿参数负载成为主流，AI 基础设施的性能不仅取决于计算能力，还取决于计算、内存、存储、网络和软件如何作为统一系统进行设计。

为了帮助超大规模企业和 AI 创新者构建下一代半定制 AI 基础设施，英伟达（NVIDIA）今日扩展了 NVIDIA NVLink Fusion，引入了 NVIDIA NVHBM——一种新一代高带宽内存技术，为 XPU 带来更高的内存性能和效率。该技术的验证与提供将由领先的内存合作伙伴完成，从而将这一先进的内存能力延伸至 NVLink Fusion 客户。

传统的 HBM 架构将内存控制器放置在 XPU 芯片上，消耗了宝贵的硅片面积，而这些面积本可用于计算。NVHBM 基于英伟达未来 GPU 所使用的相同技术构建，将英伟达定制的内存控制器集成到 HBM 基片中。

通过将内存控制器集成到 3D HBM 堆栈中而非 XPU 上，与传统 HBM4E 相比，NVHBM 可提供高达 30% 的更高内存带宽和 15% 更低的 HBM 功耗，并使 XPU 计算芯片上的可用面积增加多达 25%。

英伟达正在建立标准的 NVHBM 实现方案，由多家内存供应商提供。这减少了跨多家供应商集成和认证内存所需的工程工作量——为 NVLink Fusion 客户提供了将定制 AI 芯片更快推向市场的途径。

亚马逊（Amazon）的 Annapurna Labs 将成为首家在更广泛的 NVLink Fusion 合作框架下开展 NVHBM 工作的企业。

AWS 与英伟达继续深化 NVLink Fusion 合作

亚马逊（Amazon）的 Annapurna Labs 将与英伟达就 NVHBM 技术和 NVLink 规模扩展架构展开合作，以提升 AI 负载的性能和效率。

此举建立在 AWS 此前宣布支持 NVLink Fusion 的基础之上。Annapurna Labs 将在其下一代 Trainium 芯片（从 Trainium4 开始）中支持 NVLink Fusion，从而使亚马逊芯片与英伟达 GPU 能够利用通用的机架级架构协同工作。

“NVHBM 代表了一种推进高带宽内存性能和效率的新架构方法，”亚马逊（Amazon）Annapurna Labs 副总裁 Nafea Bshara 表示。“我们期待这项技术合作能为未来的 AWS 基础设施设计带来益处。”

垂直整合与水平开放

NVLink Fusion 使合作伙伴能够将定制 XPU 和 CPU 连接到英伟达的机架级平台。

合作伙伴可以访问英伟达 NVLink 芯片、NVLink-C2C、NVLink 交换机和英伟达 MGX 系统及机柜，以及广泛的 CPU 合作伙伴、ASIC 设计商、系统制造商和技术提供商生态系统。

随英伟达每一代机架级系统架构提供，NVLink Fusion 使超大规模企业和 AI 原生公司能够将工程资源专注于 XPU 创新，同时使用经过验证的技术栈进行规模扩展和规模外网络、机架级系统和软件的开发——从而为部署半定制 AI 基础设施创造一条更快、风险更低的路径。

了解更多关于 NVLink 和 NVLink Fusion 的信息。