NVIDIA推出Cosmos 3，基于OpenMDW 1.1许可的开源物理AI基础模型家族，涵盖...

本文是“走进全宇宙”系列的一部分，该系列聚焦于开发者、3D从业者和企业如何利用OpenUSD和NVIDIA Omniverse的最新进展来变革其工作流程。今年7月，英伟达加入200多家公司和组织，共同签署《开放权重与美国AI领导力》公开信，主张AI领导力不应由任何单一的前沿模型决定，而应取决于开放生态能否惠及各个行业。任何人都可以下载、检查、修改并在自有基础设施上运行的开放模型正是实现这一目标的关键。在物理AI领域，这一点尤为关键，因为每一次部署都是专业化问题。物理AI必须理解并预测后果，而不仅仅是外观。为了实现这一目标，世界模型学习物理环境的行为方式、接下来可能发生的情况以及哪些后续行动是合理的。它们能够生成基于物理规律的世界和行动数据，模拟未来状态，并为团队提供基础，使其能够为机器人、自动驾驶汽车或视觉AI系统进行专业化定制。

目前，开放世界模型已被用于生成训练数据、测试策略以及专业化物理AI系统。NVIDIA Cosmos 3将这些能力整合到一个开放模型家族中，在机器人、自动驾驶汽车和视觉AI领域取得了领先的基准测试结果和广泛应用。此外，作为NVIDIA Agent Toolkit一部分的NVIDIA Omniverse库提供了预构建的能力，帮助构建仿真就绪的世界，供物理AI团队在实际部署前用于训练、测试和验证系统。物理AI背后的数据收集难度大且成本高昂，难以达到所需规模。罕见事件和长尾场景尤其难以安全地重复再现。团队需要从大规模多模态场景中学习物理关系，获取更多有用的数据；需要天气、光照、物体和轨迹各异的更多样化环境；需要一个更好的基础，以便针对特定机器人、车辆、传感器配置、任务或运行环境进行构建和适配。通用模型尚未见过团队特定的机器人、传感器或运行环境。缩小这一差距需要访问模型权重、允许适配的许可以及后训练所需的工具。

NVIDIA Cosmos世界基础模型在Linux基金会的OpenMDW 1.1许可证下可用，使团队能够在自己的数据和硬件上对模型进行后训练。专业化使开放性成为一项实际的技术要求。对模型进行专业化只是工作流程的一部分。团队还需要能够生成数据、运行仿真和测试行为的环境。Omniverse库帮助开发者构建仿真就绪的环境，而OpenUSD则提供了开放框架，用于跨数字孪生、仿真和合成数据生成工作流组合、重用和交换复杂的3D数据。Together, Omniverse and OpenUSD cut the duplicated work that can otherwise pile up every time assets, sensor configurations or environmental conditions change.（合在一起，Omniverse和OpenUSD消除了每次资产、传感器配置或环境条件变化时可能堆积的重复性工作。）

NVIDIA Cosmos 3——一个基于混合Transformer架构的前沿开放物理AI基础全能模型——结合了视觉推理、世界生成和行动预测，让开发者可以使用一个模型家族来理解场景、生成合成数据、模拟未来状态并构建专业化的世界行动模型。开发者可以将Cosmos 3用作视觉语言模型，用作预测未来世界状态并生成大规模合成数据的基于物理规律的世界模拟器，或者用作世界行动模型的骨干，而不是为每种能力组装和维护单独的模型。该家族包括用于高保真世界建模的Cosmos 3 Super（64B）、用于高效推理和后训练的Cosmos 3 Nano（16B），以及用于设备端视觉推理和机器人策略部署的Cosmos 3 Edge（4B）。Cosmos 3 Edge足够轻量，可在边缘GPU上运行，可部署在NVIDIA RTX GPU、NVIDIA DGX系统和NVIDIA Jetson（包括Jetson Thor平台）上。

在基准评估中，Cosmos 3在Artificial Analysis的开放权重文本到图像和图像到视频生成、PAI-Bench的世界生成以及Physics-IQ的图像到视频类别中均排名第一。在机器人策略方面，它在RoboLab上排名第一。Cosmos 3 Super也是VANTAGE-Bench上视觉理解排名最高的开放模型。除了Cosmos之外，英伟达的物理AI堆栈还包括用于机器人的Isaac GR00T、用于自动驾驶汽车的Alpamayo以及用于视觉AI的Metropolis。在各行业中，开发者正在基于NVIDIA Cosmos构建物理AI应用：Doosan Robotics、LG Electronics、Samsung Electronics和Skild AI在机器人领域；Li Auto、Xiaomi和Afari在自动驾驶汽车领域；Centific、Fogsphere、Linker Vision、Milestone Systems和Yuan在视觉AI代理领域，为工业AI和智能空间应用提供支持。

NVIDIA Cosmos联盟通过汇聚世界模型构建者、AI开发者和物理AI领导者，贡献模型、研究方法和评估手段，进一步扩展了这一工作。英伟达最近将联盟扩展到日本，那里的机器人和制造业领导者计划加入并开发面向工厂、物流、农业、建筑、医疗保健和运输领域的开放世界模型。通过这些实施和合作，开放世界模型正逐渐成为适用于机器人、自动驾驶汽车和视觉AI系统的物理AI的可适应基础。通过探索以下资源，了解更多关于世界模型、OpenUSD和物理AI开发的信息：在Hugging Face和GitHub上探索开放的Cosmos 3模型集合和数据集。阅读Cosmos 3技术报告以获取完整的架构细节和评估结果。