西北大学的工程师开发出了一种全新的全身动作捕捉系统，它不需要专门的房间、昂贵的设备、笨重的摄像机或一系列传感器。

相反，它需要一个简单的移动设备。

新系统名为MobilePoser，利用已嵌入消费者移动设备(包括智能手机、智能手表和无线耳机)的传感器。通过结合传感器数据、机器学习和物理学，MobilePoser可以实时准确地跟踪人的全身姿势和空间中的全局平移。

“MobilePoser在移动设备上实时运行，通过先进的机器学习和基于物理的优化实现了最先进的精度，无需专门的设备即可在游戏、健身和室内导航方面开启新的可能性，”领导这项研究的西北大学的KaranAhuja表示。“这项技术标志着移动动作捕捉的重大飞跃，使沉浸式体验更加触手可及，并为各个行业的创新应用打开了大门。”

Ahuja的团队将于10月15日在匹兹堡举行的2024年ACM用户界面软件和技术研讨会上发布MobilePoser。“MobilePoser：通过移动消费设备中的IMU进行实时全身姿势估计和3D人体翻译”将作为“姿势作为输入”会议的一部分进行。

Ahuja是人机交互方面的专家，他是西北大学麦考密克工程学院的LisaWissner-Slivka和BenjaminSlivka计算机科学助理教授，并在那里指导感知、知觉、交互式计算和体验(SPICE)实验室。

当前系统的局限性

大多数电影迷都熟悉动作捕捉技术，这些技术经常在幕后花絮中展示。为了创造CGI角色(如《指环王》中的咕噜或《阿凡达》中的纳威人)，演员们穿着贴身的套装，套装上布满了传感器，在专门的房间里走来走去。计算机捕捉传感器数据，然后显示演员的动作和微妙的表情。

“这是动作捕捉的黄金标准，但运行该装置的成本高达10万美元，”Ahuja说道。“我们希望开发一种易于使用、大众化的版本，基本上任何人都可以利用他们已有的设备来使用。”

其他运动感应系统(例如MicrosoftKinect)依靠固定摄像头来观察人体运动。如果一个人在摄像头的视野范围内，这些系统就能很好地工作。但它们对于移动或移动应用来说并不实用。

为了克服这些限制，Ahuja的团队采用了惯性测量单元(IMU)，这是一种使用多种传感器(加速度计、陀螺仪和磁力计)来测量身体运动和方向的系统。

这些传感器已经安装在智能手机和其他设备中，但其保真度对于精确的动作捕捉应用来说太低了。为了提高其性能，Ahuja的团队添加了一个定制的多阶段人工智能(AI)算法，他们使用公开的大型数据集对算法进行训练，该数据集是由高质量动作捕捉数据生成的合成IMU测量值。

通过传感器数据，MobilePoser可以获取加速度和身体方向的信息。然后，它将这些数据输入人工智能算法，该算法可以估算关节位置和关节旋转、步行速度和方向，以及用户双脚与地面的接触。

最后，MobilePoser使用基于物理的优化器来优化预测的动作，以确保它们与现实生活中的身体动作相匹配。例如，在现实生活中，关节不能向后弯曲，头部不能旋转360度。物理优化器确保捕捉到的动作也不会以物理上不可能的方式移动。

最终系统的跟踪误差仅为8到10厘米。相比之下，假设用户处于摄像头的视野范围内，MicrosoftKinect的跟踪误差为4到5厘米。使用MobilePoser，用户可以自由移动。

“当一个人佩戴多个设备时，准确度会更高，比如手腕上戴智能手表，口袋里装着智能手机，”Ahuja说道。“但该系统的一个关键部分是它具有自适应性。即使有一天你没有戴手表，只带了手机，它也能适应并确定你的全身姿势。”

潜在用例

MobilePoser不仅能为游戏玩家提供更身临其境的体验，这款新应用还为健康和健身提供了新的可能性。它不只是简单地计算步数，还能让用户查看自己的全身姿势，确保锻炼时姿势正确。这款新应用还可以帮助医生分析患者的活动能力、活动水平和步态。Ahuja还设想这项技术可以用于室内导航——这是GPS目前的一个弱点，它只能在户外使用。

“目前，医生使用计步器来跟踪患者的活动情况，”阿胡贾说。“这有点令人伤心，对吧?我们的手机可以计算罗马的温度。它们对外部世界的了解比对我们自己的身体的了解还多。我们希望手机不仅仅是智能计步器。手机应该能够检测不同的活动，确定你的姿势，并成为更主动的助手。”

为了鼓励其他研究人员在此基础上继续研究，Ahuja的团队已将其预训练模型、数据预处理脚本和模型训练代码作为开源软件发布。Ahuja还表示，该应用程序将很快在iPhone、AirPods和AppleWatch上推出。