2025/10/11
IROS2025|浙江大学：基于掩码视觉-触觉-动作预训练与物体理解的双手机器人灵巧操作研究 / 行业新闻
双手机器人灵巧操作因其高自由度协调、多模态感知融合以及复杂技能组合等挑战，已成为机器人学领域的重要研究方向。传统的单手机器人操作技术虽然能够利用人类演示数据指导强化学习方法，但在涉及多个子技能的双手协调任务中往往难以泛化。特别是在动态场景下，当被操作物体状态发生变化时，被动手需要根据实时三维姿态变化做出响应，而现有方法缺乏对物体姿态和尺寸的显式感知，导致在动态状态下的手部运动不协调。此外，成功的操作任务需要时间对齐的子技能组合，如被动手必须在主动手开始旋转之前建立稳定的抓取，但现有方法缺乏协调这些相互依赖子过程的机制。
为解决上述问题，浙江大学控制科学与工程学院工业控制研究所叶琦团队的孙正男等研究人员开展了《VTAO-BiManip：基于掩码视觉-触觉-动作预训练与物体理解的双手机器人灵巧操作研究》，旨在通过多模态预训练和课程强化学习实现类人双手机器人操作。该研究成果已在机器人学领域知名会议IROS发表。# 双手机器人灵巧操作研究双手机器人灵巧操作因其高自由度协调、多模态感知融合以及复杂技能组合等挑战，已成为机器人学领域的重要研究方向。传统的单手机器人操作技术虽然能够利用人类演示数据指导强化学习方法，但在涉及多个子技能的双手协调任务中往往难以泛化。特别是在动态场景下，当被操作物体状态发生变化时，被动手需要根据实时三维姿态变化做出响应，而现有方法缺乏对物体姿态和尺寸的显式感知，导致在动态状态下的手部运动不协调。此外，成功的操作任务需要时间对齐的子技能组合，如被动手必须在主动手开始旋转之前...
