独家揭秘 | 指尖艺术的创意表达——如何数字化呈现钢琴演奏？

在11月10日MCP动作捕捉创作基地开业典礼上，一场“数字人弹钢琴”的实时演绎掀起了现场高潮。随着动捕演员的指尖在琴键上轻快地舞动，虚拟与现实之间的界限被彻底打破。每一个细腻的弹奏动作——从手指弯曲到轻触琴键，从快速跳跃到连贯滑动——都被精准捕捉并实时还原。那流畅自然的细节呈现，让观众仿佛置身于一场科技与艺术的盛宴。这场突破传统边界的演绎，不仅彰显了光学手指技术的极致精准，更为行业应用打开了新的可能性。那么，这项技术是如何实现如此高精度、自然流畅的效果的？让我们走进技术背后，探寻其实现原理。

1、钢琴演奏中数字人手部实时驱动，如何保障无遮挡，流畅自然？

手部作为人体最灵活的部位之一，精确捕捉其每一细微动作，挑战巨大。为了实现完美的捕捉效果，首先需要高精度动捕相机进行数据的采集，包括钢琴、人体手部等信息，然后将数据录入到CMAvatar中进行道具、手部的骨骼绑定，确保真人与虚拟数字人形体动作的高度匹配，从而实现动作的同步一致性。

为了保障整体过程无遮挡、流畅自然，精准的获取手部运动轨迹、位置状态，例如手指弯曲、交叉、移动速度、角度等信息，对手部的贴点方式进行了深入的研究和探讨。通过对手部结构的分析，研究出最合适的贴点位置和方式，并且可以根据不同的捕捉需求，灵活配置贴点数量、选取不同规格的marker点，例如，3mm-8mm 。通过marker点实时解析手部关节及长度，1：1复刻手部形态和动作。

在高精度定位相机、高速捕捉下，结合动捕软件CMAvatar的智能算法，骨骼绑定、实时重定向等功能，最终呈现实时驱动的效果。同时为了保障效果，借助R3参考相机，对手部进行校准，使演员手指与创建骨骼完美叠加，高度吻合。在演示现场，钢琴演奏者手指与钢琴的每一次触碰和交响，在现场演示屏幕上都如影随行，指尖拨动、弹奏等动作流畅自然，为现场观众带来有力的视觉冲击感。

2、不同手指长度比例，骨骼创建、动捕效果如何保持一致？

手指长度不同，创建过程中如果骨骼与手指不一致、不吻合，在匹配模型后很容易造成穿模等的问题。针对这个问题，可以通过一段手指操进行解决。动捕演员穿上动捕服、进行手部贴点后，通过手指操的方式让每个关节都进行充分的运动，进而对手部数据进行采集，再通过对手部骨骼的校准，根据手部关节运动情况，最终计算出手部真实的关节点，进而进行调整修复。最终实现动捕效果与真实手部关节比例的一致性，进行1:1同步呈现。

3、不同应用场景，如何进行手部贴点？

目前，青瞳视觉（CHINGMU）可以满足各种场景下的手部动作捕捉，例如桌面级、全景式、300平大空间等场景，除了进行钢琴演奏、可以进行开瓶盖、搭积木、折叠衣服、进行道具交互等，都能实现精准的手部捕捉，确保整个过程的流畅自然。

但是，对于不同场景及应用，手部的贴点方式各有特点。为了满足用户的应用需求，实现精确的手部捕捉，我们共内置了4种贴点方式，同时也支持定义贴点方式。 ，分别为单只手分别为3点、6点、10点、15点，在一般状况下，点数越多，捕捉精度越高、捕捉过程更稳定、更加有保障。

3点贴点方式

分别在拇指、食指和小拇指处各贴一个点。这种方式安装简单、系统资源消耗低且灵活性高，适用于对手指运动精度要求不高的场景，如简单的手势识别、粗略的手部捕捉等。

6点贴点方式

分别在拇指、食指和小拇指各贴两个点。这种方式能够提供较高的精度和较丰富的信息量，对系统资源的要求适中，适用于对手指运动精度有中等要求的场景，适合于游戏控制和虚拟现实互动。

10点贴点方式

分别在拇指、食指、中指、无名指和小拇指各贴两个点。这种方式精度高、信息量丰富且鲁棒性较好，适用于对手指运动精度要求较高的场景。适用于精细的虚拟现实操作和高精度的动作捕捉，能够捕捉到手指细微的运动和姿态变化。

15点贴点方式

分别在拇指、食指、中指、无名指和小拇指各贴三个点。这种方式精度最高、信息量最丰富且鲁棒性极高，适用于对手指运动精度要求极高的场景。例如，高精度的研究和精细动作捕捉场景，可以捕捉到最细微的手指运动和姿态变化。

4、光学手指技术的实际应用场景有哪些？

光学手指技术的应用领域广泛，涵盖了影视动画制作、虚拟现实游戏、机器人灵巧手研究等多个创新场景。例如，大空间、多人体交互的应用场景中，光学手指技术能提供实时、精准的动作捕捉，极大提升了创作的真实性和互动性。相比传统的手部K动画的工程，光学手指技术能够显著简化繁琐的后期处理流程，并有效降低制作成本。

在VR游戏领域，特别是在射击类游戏中，玩家的手部动作是影响沉浸感的关键因素。通过实时捕捉和解算手部动作，光学手指技术能够让玩家在虚拟世界中实现更加自然的手部操作，增强游戏的互动性和沉浸感，为玩家带来前所未有的体验。

目前，青瞳视觉（CHINGMU）光学手指技术，已经助力浙江大学、浙江工业大学等院校进行机器人灵巧手的实验研究，并针对商业落地，积极推动与人形机器人公司、具身智能有关领域企业合作，进行人形机器人的训练测试。

青瞳视觉（CHINGMU）始终致力于探索科技与创意的无限可能。光学手指追踪技术成功面世，不仅是一项创新，更是青瞳视觉（CHINGMU）推动行业变革的里程碑。通过不断优化的技术方案，我们希望为创作者与企业提供更加自由、灵活的创意工具，赋能未来的数字艺术与智能交互。如果你想了解更多光学手指追踪的技术细节或案例应用，欢迎关注我们的公众号，获取最新动态。

在MCP动作捕捉创作基地开业典礼上，光学手指、十人动捕等精彩的演示内容受到观众的关注和喝彩，为了让大家更深入的了解其背后原理、解答大家的疑问，后续也将继续为大家进行技术揭密。

MCP动作捕捉创作基地简介

作为上海市屈指一数的，具备大规模及高品质技术标准的顶级动捕拍摄棚，MCP动作捕捉创作基地不仅有着顶级的硬件设备、前沿的技术支持，丰富的服务场景、完善的全流程制作服务 ，而且具备专业的项目团队，团队参与完成包括《逆战》《逆水寒》《一人之下》《和平精英》《王者荣耀》《梦幻西游》《地下城与勇士》等知名项目。

为电影、CG动画、 游戏制作、番剧制作、影视预演（Previz）、大型虚拟直播活动、动捕教学与培训、教学模拟设计、AI数字演员、数字表演替身、虚拟偶像包装、动漫IP孵化、武打设计、军事战术模拟、威亚设计及安装等提供多样化创作支持。