无需摄像头 也能实现VR全身追踪？

　　在上篇关于VR全身追踪的文章中，我们简要分析了VR全身追踪对于VR社交的重要性，其中重点在于协调的下肢运动效果。

　　此前我们能想到的就是物理追踪方案，从光学marker，到深度相机，再到基于RGB相机的骨骼动作识别方案等等。

　　实际上，实现腿部、脚部等下肢动作追踪也越来越轻松，只不过难点是对于VR一体机来说，不能通过轻量化、简易的方式实现。考虑到现在越来越多的Inside-Out方案的VR一体机，当前并不能以简易的方式追踪腿部、脚部的动作，也不能准确模拟Avatar下半身的动作。追踪结果就是大家普遍吐槽，虚拟社交中只有上半身，这也是当前VR发展的现状。

　　那么我就在想，在VR中无需借助摄像头或额外设备，就能实现全身追踪又该怎么实现呢?

　　答案是有的：基于大量人体运动追踪数据，结合机器学习模型，实现基于头显+双手柄的动作来模拟下肢动作，实现全身动作估计的一种方式。

　　近期一个名为Standable的最新VR全身动作追踪和演示视频公布，就是采用类似的方案。从视频中我们看到了无摄像头和外部设备的条件下，VR也能实现还不错的全身动作估计效果。

　　据青亭网了解，该项目的开发者John Coumerilh是一个年轻小伙，学习编程前就花了大量时间在《我的世界》中创作、修改各种虚拟场景。最近三年自学Unreal开发并投身到XR领域，2020年5月-2022年1月期间，在开发名为《PHIN》的VR沙盒模拟应用，特点是基于真实的物理模拟效果，目前在SideQuest上可以下载。

　　而从今年2月份开始，John Coumerilh开始研究了这套名为《Standable: Full Body Estimation》(简称：Standable FBE)的VR全身追踪方案。

　　Standable FBE的特点是为大多数XR头显，提供了原本不支持的下肢追踪，包括：骨盆、膝盖、腿部或关节处等。

　　而Standable FBE的开发就是源自于Steam VR追踪方案，开发者John也表示目标就是帮助VR开发者提供一套简化的、易于使用的全身追踪FBIK方案，而无需再花几个月甚至更长时间去优化FBIK。

　　特点1：无需额外硬件

　　不像是其它需要光学Marker、或相机追踪方案，这套方案完全基于软件来实现。

　　那么它是怎么实现的呢?根据开发者John的描述，这套方案基于SteamVR追踪实现大量人体工作追踪数据进行训练，并以生成一套简易化的软件全身追踪方案。

　　特点2：非常轻量的校准流程

　　在使用时也尽量简化了步骤，只需要非常少量的校准流程，目前仅需确认眼部位置即可。

　　特点3：实现复杂的动作模拟

　　支持从任何方向蹲下、躺下、甚至趴下等动作，也支持走路、慢跑等动作。

　　特点4：易于使用

　　因为目前还是研发阶段，针对开发者的工具包目前还在开发之中。John透露：目前正在抓紧精力开发Unreal、Unity工具包，甚至也在研究支持《VRChat》。

　　特点5：价格低廉

　　完全个人开发，个人所得税低，因此相对价格低廉。

　　那么，Standable FBE当前还有哪些缺点呢?

　　1，左右移动

　　通常无额外硬件的左右移动会伴随随机抬腿的动作，但是算法不知道你会在什么时间、在什么位置抬腿，应对这种偶发情况还不够友好。

　　2，胯部位置不准确

　　因为侧身或弯曲身体等情况时，全身住踪因为不能准确模拟胯部位置和方向，因此很容易让Avatar动作变得僵硬。不过，未来的版本将会大量结合腿部动作追踪。

　　3，全身动作协调性

　　目前的Standable FBE仅采用6点追踪方案，而未来John计划升级至12节点，加入了肩部、胸部、肘部、膝盖等节点，会让动作更灵活，实现更复杂的动作。

　　很高兴看到能有个人开发者在着手解决，无硬件方案的全身追踪算法。实际上，目前包括Meta等VR头部企业，也在着手解决这一问题，比如前段时间就透露将推出基于软件的下肢追踪方案，那么届时相信也会让虚拟社交的体验进一步升级。

　　参考：Standable FBE