核心所在:一家大型儿童医院如何用开源NVIDIA AI进行心脏护理
您的浏览器不支持视频标签。
费城儿童医院(Children's Hospital of Philadelphia)正在使用开源人工智能工具在几秒钟内对儿童心脏进行建模 — 目标是为患有先天性心脏病的儿童提供更安全、更精准的护理。
约1%的活产涉及先天性心脏缺陷 — 且每个缺陷都不相同。
一个在心脏下腔之间有孔洞,或在维持其生命的单一泵室中有漏泄瓣膜的患儿需要适合其具体解剖结构的护理。从历史上看,外科医生采用的设备几乎从未是为该特定患儿量身设计的。
"你有一个独一无二的孩子和一个现成的设备,"费城儿童医院(CHOP)的心脏病学家兼研究人员Matthew Jolley博士说。"我们的工作是找到合适的装置 — 建模让我们在任何人进入导管室或手术室之前就能做到这一点。"
您的浏览器不支持视频标签。
CHOP的心脏建模服务建立在MONAI基础之上 — MONAI是由英伟达(NVIDIA)共同创办的开源医学影像框架 — 它采用孩子护理团队已有的图像,如CT扫描、MRI和3D超声,并在短短几秒钟内生成解剖学精确的心脏模型。一个曾经需要技术娴熟的研究人员花费四小时才能完成的工作流程现在完成速度足以供常规临床使用。
这种方法正在推广。
美国超过20家儿童医院现在运行心脏建模项目。在波士顿儿童医院(Boston Children's Hospital),建模支持超过一半的心脏手术 — 大约每年500例。CHOP今年预计将达到约200例建模病例。CHOP原本在心脏护理中开始这项工作,现在旨在通过IDEA Lab在多个学科中应用相同的工具,该实验室是医院Morgan研究与创新中心的一部分。
从研究到护理标准 — 一个长达十年的历程
当Jolley在2015年加入CHOP时,3D超声心动图才刚刚问世。有针对成人瓣膜建模的工具,但几乎没有为他正在治疗的复杂小型解剖结构而开发的工具。
他的实验室与开源社区合作开发了SlicerHeart — 这是3D Slicer开源软件的扩展,用于可视化、分割和分析3D医学图像 — 并开始开发从多种成像模式对儿科心脏和瓣膜进行建模的工作流程。
多年来,生成单个模型意味着一个技术娴熟的研究助理在工作站花费数小时。机器学习改变了这一切。
使用MONAI Label和英伟达的Auto3DSeg实现,Jolley的团队在成对的先前图像和模型上训练了分割网络。输出达到训练有素的人类会产生的相同质量标准 — 秒而非小时。
"机器学习已经成为日常工作,"Jolley说。"一旦我们制作了10或20对图像-模型对,我们就训练一个模型并开始应用它。"
您的浏览器不支持视频标签。
使用MONAI,CHOP可以比较两个不同的人工瓣膜如何适配患者心脏以改进手术规划。着色显示两个不同瓣膜对心脏壁造成的压力。
临床影响迅速显现。对于复杂的室间隔缺损 — 心脏下腔之间的孔洞 — CHOP现在常规在手术前进行建模。
一个早期病例清楚地表明了其价值:一个患儿已经经历了两次失败的修复尝试,外科医生无法用传统方法定位缺陷。3D模型澄清了解剖结构。修复在第一次尝试时就成功了。
"对于这样的病例,"Jolley说,"心脏建模已从研究转向护理标准。"
与Newton和英伟达Warp的接近实时结果
仅可视化不是最终目标。Jolley的团队不仅想知道孩子的心脏是什么样子,而且想知道当设备部署在其中时会发生什么 — 在任何手术开始之前。这就是Newton发挥作用的地方。
Newton是建立在英伟达Warp Python框架基础上的开源物理引擎,在GPU上运行物理模拟。CHOP正与英伟达和开源社区合作开发以生物力学为重点的Warp模拟框架,这些框架可以集成到Newton中,后者最初旨在用于基于模拟的人工智能机器人训练。
这些框架一旦与3D Slicer和SlicerHeart集成,可以帮助医生理解组织材料特性,这些特性决定了设备将如何在特定患者中部署。通过GPU加速,他们可以将心脏设备模拟所需的时间从长达四小时 — 或多个配置的整夜运行 — 减少到接近实时。
CHOP已开始实现基于英伟达Warp和Newton构建的功能,以了解设备在患者心脏中的工作方式。
在实践中,临床医生可以比较不同设备如何适应儿童的具体解剖结构,并获得足够快速的结果来指导同日决策。
CHOP已开始实现基于Warp和Newton构建的功能,用于密封儿童心脏孔洞的闭合装置 — 并希望对导管瓣膜的模拟应用类似方法。Warp和Newton的开源架构正在与SlicerHeart连接,长期目标是将实时模拟引入临床工作流程。
使用SlicerHeart和英伟达Omniverse数字孪生体(由OpenUSD驱动)的耦合器也在开发中。OpenUSD的开源3D互操作性允许将多样化的数据和求解器集成到从患者图像构建的模拟中。这些模拟然后可以流入虚拟现实环境并利用嵌入式视觉语言模型(VLM),使临床医生能够在采取行动前直观地查询和交互患儿心脏解剖结构在模拟中的表现。
开源挑战传统经济学