黑威尔GPU已投入生产,NVLINK升级至1.4 TB/s带宽,推出新的FP4通用AI数据类型。
英伟达通过在Hot Chips峰会前的新闻发布会上展示该芯片在其一个数据中心中正常运行,消除了关于Blackwell推出延迟的最近传言。该公司重申Blackwell按计划推进,将在今年晚些时候向客户交付,驳斥了关于缺陷或市场延迟的猜测。
Blackwell不是单一芯片,而是一个完整平台,包含了为数据中心、云计算和AI客户设计的大量设计,每个Blackwell产品由各种芯片组成。该代系旨在满足现代AI需求,并为大型语言模型(如Meta的405B Llama-3.1)提供强大的性能。随着大型语言模型规模的增长和参数数量的增加,数据中心需要更多计算能力和更低延迟,这需要采用多GPU推理方法,将计算分散到多个GPU中以实现低延迟和高吞吐量。这种多GPU环境需要高带宽的GPU间通信,因为每个GPU必须在每一层将结果发送给其他所有GPU。
英伟达的解决方案以NVSwitch为中心。Hopper NVLINK交换机通过900 GB/s的互连带宽,相比传统GPU间通信方式提供高达1.5倍的推理吞吐量提升,只需一次跳转到NVSwitch,然后直接连接到辅助GPU。在Blackwell中,英伟达引入了更快的NVLINK交换机,将织构带宽翻倍至1.8 TB/s。这个基于台积电4NP工艺的800mm²裸片,在GB200 NVL72机架中将NVLINK扩展至72个GPU,通过72个端口提供7.2 TB/s的全互联双向带宽,以及3.6 TFLOPs的网络内计算能力。NVLINK交换机托盘配备两个这样的交换机,提供高达14.4 TB/s的总带宽。
GB200、Grace Blackwell GB200和B200系统将采用新的液冷解决方案,Hot Chips峰会上计划推出"液冷提升性能和效率"的教程。温水直芯片冷却方案提高了冷却效率、降低了运营成本、延长了IT服务器使用寿命,并提供了热量回收的可能性,可将数据中心设施电力成本降低高达28%。英伟达还展示了使用FP4计算制作的世界上第一个生成式AI图像,作为Quasar量化系统的一部分,通过Stable Diffusion生成的FP4量化模型以更快速度产生的结果与FP16模型非常相似。该公司利用AI构建用于AI的芯片,使用生成式AI生成优化的Verilog代码——一种用于电路描述和处理器验证的硬件描述语言——从而加速下一代芯片架构的开发并维持其年度发布节奏。
英伟达预计将在明年推出Blackwell Ultra GPU,具有288 GB的HBM3e内存、更高的计算密度和更多的AI浮点运算能力,随后将在2026年和2027年分别推出Rubin和Rubin Ultra GPU。