RSS 2025｜物理驱动的世界模型PIN-WM：直接从视觉观测估计物理属性，可用于操作策略学习

机器之心 · 公众号 · AI · 2025-05-23 08:01

正文

请到「今天看啥」查看全文

论文创新点

一种物理驱动的世界模型：使用可微仿真和可微渲染技术从视觉观测中直接辨识刚体的物理参数。

一种物理感知的数字表亲：在辨识参数附近进行小范围扰动，生成多组具有近似且多样视觉和物理特性的世界模型变体，以应对未建模误差，提升策略在真实环境中的鲁棒性。

图 1：PIN-WM 仅需少量任务无关交互轨迹辨识物理属性，以支持机器人操作技能学习与 Sim2Real 迁移

技术路线

该团队提出一种从现实到虚拟再到现实的框架，以学习非抓取操作相关的技能策略。该框架可分为两大阶段：系统辨识和策略训练。

从现实到仿真（Real2Sim）：系统辨识

渲染属性估计：收集物体的多视角图片，并计算 Rendering loss，然后使用 2DGS 对其渲染参数进行优化。

物理属性估计：收集机器人与物体的交互视频，同样基于 Rendering loss，使用 2DGS 和可微 LCP 传播梯度，从而对物理参数进行优化（此时固定渲染参数）。

从仿真到现实（Sim2Real）：策略训练与部署

结合数字表亲学习策略：在辨识参数附近进行小范围扰动，生成多组具有视觉和物理特性差异的世界模型变体，并在此基础上训练策略。
策略部署：将世界模型中学习到的策略部署到真实场景中，完成虚拟到现实迁移。

图 2：Real2Sim2Real 框架用于学习非抓取操作策略

实验结果

「推」（Push）和「翻转」（Flip）作为经典的非抓取式任务，对摩擦、碰撞等复杂物理机制非常敏感。PIN-WM 在这两项代表性任务上进行实验评估：「推」指通过推的方式将平面上的物体移动到目标姿态，「翻转」指通过戳的方式将物体翻转（图 3）。通过统计各方法在两项任务中的成功率及完成步数，对其性能进行对比评估。