高通专利探索用电脑、手机等设备协助AR/VR头显追踪对象

　　XR设备可以执行诸如手部追踪这样的对象追踪任务。然而，如果用户的手部离开传感器的视场或者出现遮挡，则手部追踪将无法正常工作。另外，对象追踪是一个高计算成本的过程，可以快速耗尽XR设备的电量。

　　针对这个问题，高通在名为“Collaborative tracking”的专利申请中提出，可以利用第三方设备来帮助执行追踪任务。简单来说，如果XR设备由于各种问题而无法继续执行手部追踪等任务，则可以由具有追踪传感器的家用安全摄像头、笔记本电脑、智能手机、智能电视和第三方XR设备等来为XR设备提供追踪信息，从而实现一种协作式追踪。例如，摄像头正对着XR设备用户的家用安全摄像头可以追踪用户的手势，并将相关信息传输给XR设备。

　　这份发明主要描述了成像设备(例如XR设备)使用来自一个或多个第三方设备的一个或多个数据流。

　　图5是示出了用户佩戴头显的透视图。头显的第一摄像头和/或第二摄像头可用作XR系统的传感器。头显的视场520表示第一摄像头和/或第二摄像头的视场。头显的视场520使用虚线示出。用户的手525位于传感器视场520之中，所以头显的XR系统能够检测、提取和/或追踪用户手部525相对于真实世界环境的特征，从而识别用户手部525的姿态。

　　基于手525的姿态，头显可以确定基于姿态的用户输入，例如用于控制头显的用户界面的操作。

　　在另一示例中，头显可以基于确定的手势来确定虚拟对象的显示位置。在一个示例中，虚拟对象可以是剑，并且呈现成如同由用户真实手部525握住一样。虚拟对象的位置和方向取决于手525的姿态。

　　图6A示出了用户佩戴头显的另一透视图。头显的视场620使用虚线示出。由于用户的手525不在头显的视场620中，所以，头显无法识别和/或追踪手525在图6A中的位置。

　　当出现这种情况时，可以利用高通提出的协作式追踪方法，请求第三方设备提供追踪帮助。

　　在一个示例中，检测系统可以确定头显失去对手525的追踪。这时，头显可以向第三方摄像头610发送手部追踪辅助请求640。第三方摄像头610可以是第三方设备的一部分，例如笔记本电脑、智能电视、智能家居设备、移动设备(例如智能手机)、平板电脑或其他第三方设备。

　　头显可以与第三方摄像头610的设备进行通信协商。作为响应，第三方摄像头610可以将手部追踪数据645作为数据流的一部分发送到头显。手部追踪数据645可以包括由第三方摄像头610的一个或多个传感器(例如一个或更多个图像传感器)捕获的传感器数据。

　　由虚线描述的615是第三方摄像头610的视场。第三方摄像头610的视场615包括用户325的手525。在一个示例中，手部追踪数据645可以由第三方摄像头610进行部分处理，例如在第三方摄像头610将手部追踪数据646发送到头显的XR系统210之前，可以在第三方设备检测特征、提取特征、追踪特征和/或执行一个或多个其他操作。

　　通过这种方式，即便手525不在头显的视场620中，但头显依然可以基于手部追踪数据645确定的手势来确定用户正在执行的一个或多个基于姿势的输入。

　　图6B示出了另一透视图650。其中，由于遮挡情况，头显无法追踪用户的手部。

　　类似上面的描述，头显可以确定遮挡物660在头显视场670中遮挡了手部525。这时，图6B的头显可以向第三方摄像头610发送手部追踪辅助请求640。头显可以与第三方摄像头610的设备进行通信协商。作为响应，第三方摄像头610可以将手部追踪数据645作为数据流的一部分发送到头显。

　　在一个示例中，第三方摄像头610可以是独立的摄像头设备，例如家用安全摄像头。在其他示例中，图6A和6B的第三方摄像头610可以是另一头显710(如图7所示)、智能手机或笔记本电脑等等。

　　图7示出了第三方头显710的透视图700。

　　头显310可以确定由于各种原因而无法执行追踪任务。例如，图7示出了头显310检测到低电池状态735。

　　基于头显310检测到电池电量不足状态735的警报730，头显310可以向第三方头显710发送手部追踪740的协助请求。头显310可以与第三方头显710进行通信协商。作为响应，正对头显310的第三方头显710可以将手部追踪数据745作为数据流的一部分发送到头显310。手部追踪数据745可以包括由第三方头显710的一个或多个传感器捕获的传感器数据。

　　在一个示例中，手部追踪数据745可以由第三方头显710进行部分处理，从而减少头显310的计算资源消耗，。

　　因为头显310能够将手部追踪任务中的至少一部分卸载到第三方头显710，所以头显310可以减少其电池负载并延长续航。

　　在一个示例中，头显310可以采取其他方法来进一步减少电池消耗。例如，关闭或以其他方式禁用其摄像头和/或其他传感器;又或者是降低来自其传感器的传感器数据的捕获质量或速率，例如从90fps图像捕获降低到30fps捕获。在一个示例中，头显310可以部分或完全依赖于第三方头显710的摄像头和/或其他传感器。

　　名为“Collaborative tracking”的高通专利申请最初在2021年6月提交，并在日前由美国专利商标局公布。