Skild AI用NVIDIA物理AI从单视频教机器人新任务

制造车间、仓库和生产线很少保持固定不变——任务变化、布局调整、新产品到来，而大多数机器人无法在不进行重大重新编程的情况下适应这些变化。

Skild AI 的新型 S1 机器人基础模型有助于解决这一问题，它的设计目标是从单一视频演示中学习之前未见过的长期任务。该模型于上周推出，使用视频作为输入来理解和执行任务，无需更新其权重或进行任务特定的后期训练——这种技术称为上下文学习。

Skild 在英伟达（NVIDIA）AI 基础设施上构建了 S1 并进行了研究，这是更广泛合作的一部分，涵盖合成数据生成、模型训练、模拟和实际物理 AI 部署。两家公司正在合作，将可适应的机器人智能从实验室引入工厂和其他动态操作环境。

Skild AI 联合创始人兼首席执行官 Deepak Pathak 表示："通过经验学习，而不是预编程，这是机器人领域发生的阶跃变化。英伟达 Isaac Lab 和英伟达 Cosmos 技术帮助 Skild 创建其机器人需要的可扩展、多样化的体验，以便在许多场景和具体形态中学习。"

该模型推出之际，该公司在首次商业部署后 10 个月达到了 1 亿美元年收入运行率。在此期间，Skild 建立了 60 多个部署合作伙伴关系，工作范围涵盖制造、物流、检查、安全、食品准备和其他应用。

从一个视频学习新任务

大多数工业机器人是为固定工作而设计的，因此每个新产品、流程或布局都需要更多数据、重新培训和验证。

S1 采取了不同的方法：操作员录制所需任务的视频，并将其作为提示提供给模型。它解释演示的意图、对象和序列，然后将其映射到其前面的机器人的操作——无需重新训练——通常是针对其预训练数据集中未涵盖的任务。

S1 可以执行持续长达 10 分钟的不熟悉任务，包括种植盆栽、煎饼制作、手冲咖啡冲泡和组件组装。这些任务可以跨越数十个操作步骤，并要求机器人以其之前未曾执行过的序列组合技能。

在一项种植盆栽测试中，Skild AI 团队在仅 11 分钟内从录制演示转移到硬件上的自主执行。该模型还可以在对象移动时进行调整、从错误中恢复并以未明确编程的序列组合技能。

在 Skild 对新的多步骤任务的测试中，其 S1 机器人在每个步骤成功率约为 66%，而类似 AI 系统的成功率为 9%——提高了七倍多。Skild 还估计，向机器人展示一个短视频示例可以和提供大约 380 个实际训练示例一样有用。一个人手动收集这些示例可能需要 50-100 小时。

从研究到工厂工作

S1 打破了不断重新训练机器人以适应新因素的循环，它允许操作员直接演示新任务，而无需为每次变化进行新的数据集或训练运行。在客户协议允许的情况下，Skild 商业部署的经验可以为更广泛的模型提供信息，并帮助加速未来的部署。

这项工作已在工厂车间实施。Skild、英伟达和富士康正在双臂机械手上部署 Skild Brain，用于英伟达 Blackwell 系统的高精度组装。在一个演示的工作流中，机器人安装了母线和限制块、紧固 16 个螺钉，并在多步骤任务中适应干扰。该工作需要精确的运动、接触感知控制、序列跟踪和当场景与计划不同时的恢复。

英伟达在整个开发周期中的技术

英伟达加速计算为 Skild 提供了规模，使用模拟、人工视频、远程操作和在允许的情况下进行部署数据来训练其共享机器人大脑。英伟达 Cosmos 开放世界基础模型有助于使训练数据多样化，并将视频转化为结构化描述，而 Cosmos Curator 有助于大规模标注、过滤和组织数据。

Skild 在实际部署前广泛使用英伟达的开放模拟框架来训练和验证其机器人大脑。英伟达 Omniverse 库和英伟达 Isaac Sim 框架提供了基于物理的虚拟环境，用于生成数据、测试边界情况和验证行为。

Skild 通过 Isaac Lab 中的强化学习进一步增强其大脑的技能，Isaac Lab 是一个开放模块化机器人学习框架。由 Newton 物理引擎驱动，Isaac Lab 帮助 Skild 的工程师准确模型化各种物理参数，如力、接触、碰撞和压力，并减少模拟与现实的差距。

Skild 和英伟达还共同开发了新的 GPU 加速模拟求解器，可以快速准确地模型化机器人如何物理上触摸、抓握和操纵固体对象。它们很快将作为 Newton 的一部分向所有开发者提供。

当模型进入生产阶段时，英伟达 Nsight 工具帮助工程师在训练过程中找到性能瓶颈，英伟达 TensorRT 软件开发工具包优化了推理，使机器人能够在物理世界中快速响应。这些技术共同连接数据、模拟、训练和部署阶段，而不是将其视为单独的系统。

阅读 Skild AI 的 S1 研究并探索英伟达 Isaac 机器人平台。