NVIDIA Isaac ROS 5.0推进智能体开源机器人开发
要构建和部署能够在动态环境中感知、推理和行动的复杂机器人应用,开发者需要新的物理AI模型和工具。
ROS开放框架是来自Open Robotics的一个项目,帮助人类构建机器人。NVIDIA Isaac ROS 5.0——建立在ROS基础上的GPU加速包集合,今天在加拿大多伦多的ROSCon大会上发布——帮助人类和AI代理一起构建机器人。
此次发布引入新的代理工作流和平台支持,帮助开发者更快地构建、定制和部署机器人应用。
ROS为现代机器人开发的大部分工作提供了开源基础,为开发者提供了用于构建和连接机器人应用的通用工具、库和标准。
NVIDIA Isaac ROS为近130万ROS用户带来了NVIDIA加速计算、物理AI模型和生产就绪的库,帮助开发者使用免费、熟悉的开源工具构建高性能机器人应用。
将AI代理引入机器人开发
AI代理正在改变软件的构建方式,帮助开发者自动化重复任务、浏览复杂代码库并更快地从想法转变为可工作的应用。Isaac ROS 5.0将这些功能带到机器人开发中。
Isaac ROS 5.0引入了对ROS Lyrical和Ubuntu 24.04的支持,为开发者提供了采用最新ROS平台的路径,同时继续使用NVIDIA加速计算来加速要求高的机器人工作负载。NVIDIA与开源机器人联盟合作,为ROS Lyrical贡献了一个标准数据处理接口,帮助机器人软件在包括GPU在内的不同计算硬件上高效工作。
对整个ROS社区开放,它为开发者提供了加速要求高的机器人应用的一致方式,CUDA为GPU加速提供了一个工作示例。
新的NVIDIA Isaac设置和操作技能提供了可重用的工作流,开发者和AI代理可以使用这些工作流来完成机器人开发任务。代理就绪的文档也使AI代理更容易理解Isaac ROS工具和工作流,将开发者意图更快地转化为可工作的应用。
一些技能超越了辅助单个编码任务的范围。一项新的FoundationStereo微调技能使AI代理能够帮助将立体感知模型适配到开发者的摄像头、环境和机器人应用,使开发者可以轻松为给定的传感器配置实现更精准的感知。
FoundationPose是一个用于对象姿态估计和跟踪的基础模型,现在提供了一个代理就绪的推理库,使机器人能够感知和跟踪对象的位置和方向快达5.5倍。
此外,抓取和放置——一个连接检测、深度估计和姿态输出的常见工作流——现在作为独立的、代理就绪的技能提供,为机器人开发者提供了超越Isaac ROS的更多灵活性。
加速开源机器人生态系统
机器人生态系统已经在将这种代理方法扩展到开发工作流。
AgenticROS是一个由3D感知技术公司RealSense赞助的开源项目,将Isaac ROS与NVIDIA Nemotron开源模型和NVIDIA NemoClaw蓝图相连接,使AI代理能够与基于ROS的机器人交互。RealSense还在优化其最新的AI原生3D立体深度摄像头,包括RealSense D585 Pro,以及针对Isaac ROS和NVIDIA Jetson Thor边缘AI平台的开源软件开发工具包,帮助开发者构建感知、导航和操作应用。
Intrinsic的开放机床上料解决方案是计算机数字控制机床上料的参考应用,是新发布的Intrinsic Core的一部分,Intrinsic Core是一个开源的预配置运行时服务和功能套件,旨在加速工业机器人应用。它包括与NVIDIA FoundationPose的内置兼容性,用于开箱即用的对象注册、跟踪和姿态估计。使用FoundationPose感知管道,该解决方案使机器人能够动态检测和处理零件,同时减少对刚性、昂贵的物理固定装置和专门系统集成的需求。
Intrinsic使用FoundationPose在其开放机床上料解决方案中执行无缝对象感知。
Seeed Studio正在使用NVIDIA Isaac ROS与reBot Arm,在NVIDIA Jetson Thor上结合加速感知、空间理解和运动规划。这一集成为开发者提供了一个实用平台,用于构建可适应的物理AI应用,从对象定位到碰撞感知操作和自主抓取放置。
Magna正在使用NVIDIA Isaac ROS作为机器人感知、同步数据收集和NVIDIA Isaac GR00T模型部署的模块化、GPU加速基础,将其与Isaac Sim硬件在环测试相结合,以更快、风险更低的方式将智能自动化从研究带到真实世界的制造和移动性应用。
Magna将Isaac ROS与Isaac Sim配对进行硬件在环测试,以实现更快的部署。
Prefix.dev的Pixi包管理工具使创建可复现的机器人开发环境变得更容易,将ROS与NVIDIA CUDA平台结合在一起,帮助开发者更容易地设置和共享加速机器人工作流。
作为Isaac ROS合作伙伴,Foxglove通过其网络和桌面工具帮助开发者可视化和调试实时ROS应用,这些工具集成在整个Isaac ROS教程中,并支持3D主题、nvblox网格和rosbags等数据。
Flexiv正在将Isaac ROS与其Rizon 4自适应机器人集成,为开发者提供了NVIDIA加速机器人功能的访问权限,以及从在NVIDIA Isaac Sim中测试应用到在物理机器人上部署的流畅路径。