12月15日至18日，第18届SIGGRAPH Asia在香港圆满落幕。作为全球图形学与互动技术领域的顶尖会议，本届大会汇聚了来自世界各地的优秀学者与技术团队，共同呈现并探讨领域前沿进展。青瞳视觉（CHINGMU）作为全球动作捕捉领导者，携自主研发的高精度光学动作捕捉系统亮相本次会议，并通过现场演示，向与会学者生动展示了该系统在数字娱乐与创新应用中的关键作用。

值得一提的是，浙江大学CAD&CG国家重点实验室许威威教授团队的论文《神经运动图》，被收录于SIGGRAPH Asia前沿研究。该研究基于青瞳视觉光学动捕系统完成，不仅展现了该技术在高端学术场景中的实用价值，也为动作捕捉与计算机图形学的结合开拓了新思路。

可控人体动画合成

人体运动合成是计算机图形学与动画领域的重要研究方向，旨在生成自然、多样且可控的虚拟角色动作。传统方法如运动图虽具备良好的可扩展性，但内存占用大、搜索效率低；而基于深度学习的方法虽能生成流畅动作，却在扩展新动作类型时面临训练成本高、控制灵活性不足等问题。尽管已有研究尝试结合图结构与神经网络进行运动建模，但在支持多类型运动、多模态控制与实时交互方面仍存在明显局限。

为解决上述问题，浙江大学CAD&CG国家重点实验室许威威及其研究团队，开展了《神经运动图》研究，提出了一种结合运动图结构与神经网络建模的新框架，实现了高可控、可扩展的实时人体运动合成。该成果已发表于计算机图形学顶级会议 SIGGRAPH Asia。

一、研究方案

研究团队设计了一个由“神经节点”与“神经边”构成的神经运动图结构（如图1所示）。每个神经节点对应一类特定运动（如行走、体操、舞蹈等），并使用独立的混合专家网络进行建模；神经边则由单一轻量控制网络实现不同类型运动之间的平滑过渡。

图表 1 左：神经运动图结构。右：生成的运动。不同颜色框内的运动由对应颜色的节点生成。

在研究的第一部分，团队构建了包含多种运动类型的数据集，包括自建的异构运动数据集与公开数据集，并设计了支持轨迹控制、键盘交互与音乐节奏的控制信号表示方法。第二部分，提出了“两分支混合专家网络”作为节点基础结构，并引入“轻量适配器”实现节点间参数高效微调（如图2所示），显著降低了新增运动类型的训练成本。第三部分，设计了可控运动过渡网络，通过引入局部运动表示与轨迹控制模块，实现了过渡动作的细粒度控制。

图表 2 神经节点网络结果示意图

1. 提出神经运动图结构，将运动类型解耦为独立节点，支持灵活扩展与类型专属控制
2. 采用单一过渡网络处理所有运动类型间的切换，兼顾效率与控制能力

3. 构建混合图结构，支持神经网络节点与传统运动片段共存，适应不同数据条件

   
   

二、实验验证

人体运动数据基于多源数据集，包括LAFAN1、AIST++与自建HMD数据集，涵盖行走、跑步、体操、舞蹈等17类动作。其中自建HMD数据集的高质量人体运动数据来自于CHINGMU（青瞳视觉）的光学动捕系统（如图3所示）。

图表 3 青瞳光学系统采集的人体运动数据

表格 1 可拓展性对比。比较原始结果以及加入新类型后原始类型的响应指标。

图表 4 轨迹控制结果。轨迹上的不同颜色表示不同的运动类型

此外，为了能够在过渡中也能够完成轨迹的控制，我们对过渡运动生成网络增加了轨迹控制模块。神经运动图中的神经边相较于现有的过渡运动生成方法能够生成更加自然更加正确的过渡运动。现有的运动过渡方法在加入轨迹控制之后，会出现比较明显的问题，例如脚步和地面的穿模、手部的异常动作等（如图5所示）。

图表 5 过渡对比结果。从左到右依次为RTN，CVAE-RTN，Two-stage以及ours。

三、研究成果

本研究提出的神经运动图在运动质量、控制灵活性与系统扩展性方面均优于现有主流方法或与其相当。通过分离运动类型的建模与过渡机制，系统在保持高质量合成结果的同时，显著降低了新增运动类型的训练成本。该框架为游戏动画、虚拟现实、影视预演等应用场景提供了高效可控的运动合成解决方案。

参考文献：

1. Félix G Harvey, Mike Yurick, Derek Nowrouzezahrai, and Christopher Pal. 2020. Robust motion in-betweening. ACM Transactions on Graphics (TOG) 39, 4 (2020), 60–1.
2. Shuaiying Hou, Hongyu Tao, Hujun Bao, and Weiwei Xu. 2023. A Two-part Transformer Network for Controllable Motion Synthesis. IEEE Transactions on Visualization and Computer Graphics (2023), 1–16. https://doi.org/10.1109/TVCG.2023.3284402
3. Jihoon Kim, Taehyun Byun, Seungyoun Shin, Jungdam Won, and Sungjoon Choi. 2022. Conditional motion in-betweening. Pattern Recognition 132 (2022), 108894.
4. Lucas Kovar, Michael Gleicher, and Frédéric Pighin. 2002. Motion Graphs. ACM Trans. Graph. 21, 3 (jul 2002), 473–482.
5. Ruilong Li, Shan Yang, David A. Ross, and Angjoo Kanazawa. 2021. AI Choreographer: Music Conditioned 3D Dance Generation with AIST++. arXiv:2101.08779 [cs.CV]
6. Hung Yu Ling, Fabio Zinno, George Cheng, and Michiel Van De Panne. 2020. Character controllers using motion vaes. ACM Transactions on Graphics (TOG) 39, 4 (2020), 40–1.
7. Libin Liu and Jessica Hodgins. 2018. Learning basketball dribbling skills using trajectory optimization and deep reinforcement learning. ACM Transactions on Graphics (TOG) 37, 4 (2018), 1–14.
8. Jianyuan Min and Jinxiang Chai. 2012. Motion graphs++ a compact generative model for semantic motion analysis and synthesis. ACM Transactions on Graphics (TOG) 31, 6 (2012), 1–12.
9. Jia Qin, Youyi Zheng, and Kun Zhou. 2022. Motion In-betweening via Two-stage Transformers. ACM Transactions on Graphics (TOG) 41, 6 (2022), 1–16.
10. Sebastian Starke, Ian Mason, and Taku Komura. 2022. Deepphase: Periodic autoencoders for learning motion phase manifolds. ACM Transactions on Graphics (TOG) 41, 4 (2022), 1–13.
11. Sebastian Starke, Yiwei Zhao, Taku Komura, and Kazi Zaman. 2020. Local motion phases for learning multi-contact character movements. ACM Transactions on Graphics (TOG) 39, 4 (2020), 54–1.
12. Sebastian Starke, Yiwei Zhao, Fabio Zinno, and Taku Komura. 2021. Neural animation layering for synthesizing martial arts movements. ACM Transactions on Graphics (TOG) 40, 4 (2021), 1–16.
13. Xiangjun Tang, He Wang, Bo Hu, Xu Gong, Ruifan Yi, Qilong Kou, and Xiaogang Jin. 2022. Real-time controllable motion transition for characters. ACM Transactions on Graphics (TOG) 41, 4 (2022), 1–10.