浙江大学控制科学与工程学院叶琦团队开展了《VTAO-BiManip：基于掩码视觉-触觉-动作预训练与物体理解的双手机器人灵巧操作研究》，设计并构建了VTAO数据采集系统。其中，通过CHINGMU青瞳视觉动捕系统用于精确捕捉手部运动和6自由度物体姿态。通过该系统，研究团队收集了216个人类双手操作轨迹，涉及26个不同物体，总计61,684帧时间对齐的多模态数据。基于MAE架构，团队提出了VTAO-BiManip预训练框架，通过跨模态特征融合使模型能够从部分感知观察中恢复完整的环境交互。实验结果表明，该方法在仿真和真实环境中的成功率超过现有方法20%以上，研究成果已在机器人学领域知名会议IROS发表。

论文成果：https://suzend.github.io/VTAO-Bimanip/