NVIDIA扩展NVLink Fusion加入NVHBM,新高带宽内存技术提供30%更大内存带宽

下一波AI浪潮对基础设施提出了新的要求。随着AI代理和万亿参数工作负载成为主流，AI基础设施的性能不仅取决于计算，还取决于计算、内存、存储、网络和软件如何作为统一系统一起设计。

为了帮助超大规模数据中心运营商和AI创新者构建下一代半定制AI基础设施，NVIDIA今日通过NVIDIA NVHBM扩展了NVLink Fusion，这是一项下一代高带宽内存技术，为XPU提供更高的内存性能和效率。它将由领先的内存合作伙伴进行验证和提供，为NVLink Fusion客户扩展这种先进的内存功能。

传统的HBM架构将内存控制器放在XPU芯片上，占用了可能用于计算的宝贵硅面积。NVHBM采用NVIDIA将用于未来GPU的相同技术，将NVIDIA的定制内存控制器集成到HBM基础芯片中。通过将内存控制器集成到3D HBM堆栈而不是XPU中，NVHBM提供高达30%更大的内存带宽和15%更低的HBM功耗，与标准HBM4E相比，在XPU计算芯片上释放高达25%更多的面积。

NVIDIA正在建立一个标准的NVHBM实现，可从多个内存供应商获得。这减少了跨多个供应商集成和认证内存所需的工程工作，为NVLink Fusion客户提供了更快的自定义AI芯片上市路径。

亚马逊的Annapurna Labs将首先开展NVHBM工作，这是其与NVIDIA围绕NVLink Fusion更广泛合作的一部分。Annapurna Labs将从Trainium4开始，通过其下一代Trainium芯片支持NVLink Fusion，这将允许亚马逊芯片和NVIDIA GPU与通用机架级架构一起工作。根据亚马逊Annapurna Labs副总裁Nafea Bshara的说法，NVHBM代表了一种推进高带宽内存性能和效率的新架构方法，他们期待这项技术合作能够造福未来的AWS基础设施设计。

NVLink Fusion使合作伙伴能够将自定义XPU和CPU连接到NVIDIA的机架级平台。合作伙伴可以访问NVIDIA NVLink芯片、NVLink-C2C、NVLink交换机和NVIDIA MGX系统和机架，以及广泛的CPU合作伙伴、ASIC设计者、系统制造商和技术提供商的生态系统。NVLink Fusion随NVIDIA机架级系统架构的每一代推出，允许超大规模数据中心运营商和AI原生公司将工程资源集中在XPU创新上，同时使用经过验证的用于纵向和横向扩展网络、机架级系统和软件的技术栈，为部署半定制AI基础设施创建了更快、低风险的途径。