Nvidia发布云集成软件，实现远程GPU位置追踪、功耗和温度的实时监控。

英伟达详细介绍了其新的GPU舰队监控软件，该软件使数据中心运营商能够监控其AI GPU舰队的各个方面。该软件可以检测全球部署中GPU的物理位置，或按计算区域分类（代表特定的物理或云位置），将其定位为可能的芯片走私威慑。然而，该软件是可选的而不是强制性的，这可能会限制其作为阻止走私者（无论是国家级还是其他走私者）的工具的有效性。

该软件收集广泛的遥测数据，这些数据被汇总到托管在英伟达NGC平台上的中央仪表板。该界面让客户能够在全球范围内或按计算区域可视化其整个舰队的GPU状态。运营商可以查看舰队范围的摘要、深入查看各个集群，并生成包含库存数据和系统范围健康信息的结构化报告。

英伟达强调该软件严格来说是观察性的：它提供对GPU行为的洞察，但不能作为后门或紧急停止开关。即使英伟达通过NGC平台发现其某些GPU已被走私到中国，也无法将其关闭。不过，该公司可能能够利用这些数据来确定GPU是如何到达那个位置的。该软件被描述为"一个客户安装的、开源的客户端代理，是透明的和可审计的"。

英伟达的舰队管理软件提供了对负载下GPU基础设施行为的详细、实时监控。它持续收集功率行为的遥测数据——包括短时间峰值——使运营商能够保持在功率限制内。该系统监控整个舰队的利用率、内存带宽使用和互连健康状况，以最大化利用率和每瓦特性能。该软件还专注于热管理和气流条件，以避免热节流和组件过早老化，帮助运营商及早发现热点和气流不足。此外，该系统验证各个节点是否共享一致的软件堆栈和操作参数，这对于可重现的数据集和可预测的训练行为至关重要，任何配置差异（如驱动程序或设置不匹配）都会在平台上变得可见。

英伟达的舰队管理服务不是该公司用于远程诊断和控制GPU行为的唯一工具。DCGM是一个本地诊断和监控工具包，可以暴露原始GPU健康数据，但需要运营商构建自己的仪表板和聚合管道，这大大降低了其可用性，但也使运营商能够构建他们自己需要的工具。Base Command是一个工作流和编排环境，设计用于AI开发、作业调度、数据集管理和协作，而不是用于深入的硬件监控。这三个工具一起为数据中心运营商提供了一套强大的工具集，其中DCGM提供节点级诊断，Base Command处理工作负载，而新的服务将它们集成到一个舰队范围的可视化平台中，可扩展到地理上分散的GPU部署。