微软专利提出含投影仪的头显收纳盒，辅助AR头显显示全息图

　　如果大家有关注映维网的微软专利分享，你应该会留意到这家公司围绕AR设备的收纳盒进行了一系列的探索，例如利用眼镜盒帮助AR眼镜执行高精度深度测量。

　　日前，在一份名为“Device case including a projector”的专利申请中，微软又提出了一种包含投影仪的设备收纳盒。其中，专利描述了一种利用收纳盒来帮助头显显示全息图的方法。

　　具体来说，AR头显设备使用深度信息来显示关于真实世界环境的全息图。在图1中，用户102佩戴头显设备104。头显设备104用于显示全息图106。

　　头显设备104可以使用深度成像来确定设备104与环境中的一个或多个对象(例如桌子108的边缘)之间的距离，并生成真实世界环境100的深度图。深度图用于确定全息图的放置，包括全息图的位置、方向和/或比例因子。

　　头显设备可以使用立体摄像头系统并通过执行三角测量来确定深度。然而，对于立体摄像机系统的摄像头而言，对照明不良环境的特征进行成像可能具有挑战性，并可能导致全息图的不正确显示。例如，头显设备104可能计划在位置106′显示与桌子108相邻的全息图106。

　　但在黑暗环境中，头显设备104可能无法准确感知桌子108的边缘位于何处，并且可能错误地将全息图放置错误的位置。

　　所以，微软提出可以利用包含投影仪的设备收纳盒，以便于可穿戴设备可以精确放置全息图。简言之，设备收纳盒的投影仪可以输出合适的照明，以允许可穿戴设备的立体摄像头系统在类似的照明条件下以更高信噪比来获取图像数据。

　　参考图2，头显收纳盒110的投影仪对使用环境100的照明可以允许头显104在预期位置显示全息图106。在一个实施例中，收纳盒的投影仪可以输出包括图案的结构光，使得图案中的失真可以为立体深度成像提供额外的信息和对比度。这种图案可以或可以不包括重复的或对称的特征。在其他示例中，投影仪可以输出非结构化光。

　　由设备收纳盒投影的结构化光图案同时可以用于使用单个摄像头获取深度信息，其中摄像头和设备收纳盒彼此校准。在这样的示例中，可以通过从摄像头和投影仪之间的初始校准开始，并在摄像头处获得结构光的图像来确定摄像头相对于收纳盒的相对取向。

　　通过将图像与初始校准进行比较，可以识别摄像头和投影仪之间围绕滚动轴的旋转。俯仰和偏航可以使用极线搜索和三角测量来确定。例如在校准期间，结构化光图案配准到摄像头的一个或多个像素。

　　当摄像头和投影仪之间的相对俯仰和/或偏转改变时，结构光图案在传感器上移动。所以，可以通过分别在垂直和水平方向监测传感器的结构化光图案位移来确定俯仰和偏航。

　　图3示出了包括头显302和头显收纳盒304的示例系统300框图。如上所述，头显302可以包括立体摄像头系统306。头显302同时包括透视显示系统308、第一通信系统310和第一计算系统312。第一计算系统312配置为经由透视显示系统308控制图像的显示，并经由第一通信系统310控制与收纳盒304的通信。

　　收纳盒304包括投影仪316、第二通信系统318和第二计算系统320。第二计算系统320配置为控制投影仪316向周围环境输出照明光，并控制经由第二通信系统318与头显302的通信。

　　图5示出了头显设备的示例性收纳盒500。收纳盒500配置为在头显设备不使用时容纳头显设备。如图2所示，收纳盒500同时包括被配置为发射照明光的投影仪502。如上所述，投影仪502可以配置为发射任何合适波长的结构化或非结构化光，以帮助头显设备进行深度感测。

　　图6和图7示出了适合结合在图5的情况中的投影仪的示例。首先，图6示出了包括相干光发射器602、准直透镜603、以及包括衍射光学元件604的图案生成元件的结构光投影仪600。其中，衍射光学元件602配置为使用由光发射器602发射的相干光来创建结构光图案。

　　在所示示例中，预定结构光图案606包括散斑图案。斑点图案的点可以具有任何合适的尺寸和密度。在一个实施例中，光图案的点可以在一个或两个维度均匀间隔，而在其他示例中，点的图案可以不规则，例如随机图案。

　　图7示出了包括光发射器702和投影光学器件704的非结构化光投影仪700示例。非结构化光投射器700配置为发射非结构化光706。投影光学器件704可以包括任何合适的光学元件。

　　在一个实施例中，投影光学器件704包括光学漫射器，例如微透镜阵列或衍射光学元件。在其他示例中，可以使用任何其他合适的扩散器。同样，光发射器702可以采取任何合适的形式。在一个实施例中，光发射器704包括相干光源，例如激光二极管。在其他示例中，光发射器702包括发光二极管。

　　图8示出了描绘用于经由头显设备显示全息图的示例方法800流程图。

　　在802，经由头显的摄像头系统，通过检测位于收纳盒投影仪输出的照明光来获取捕获周围环境的图像数据。

　　作为示例，再次参考图2，收纳盒110放置在桌面108，使得由收纳盒110输出的照明光112包围桌子108的一部分。如图2中的示例所示，收纳盒110可以成形为使得其可以设置在桌子108或任何其他合适的表面上，并且照亮真实世界环境的至少一部分。

　　再次参考图8，在810，从头显设备向收纳盒发送指令以输出照明光。可以基于任何合适的条件来发送这样的指令，例如头显设备未能在黑暗环境中跟踪对象和/或感测到的环境光水平下降到阈值以下。在其他示例中，照明光的输出可以由用户输入触发，例如按下收纳盒的按钮，或者经由头显设备的用户输入机制进行任何适当的输入，如812所示。

　　在814，方法800包括基于图像数据确定到周围环境中的物体的距离。例如，图2的头显设备104可以处理图像数据以确定从头显设备102到环境中的平坦表面的距离。

　　在816，方法800包括经由头显设备显示全息图。全息图包括包括左眼图像和右眼图像的立体图像。左眼图像和右眼图像各自具有基于距离的透视。例如，图2的全息图106配置为与桌子108的边缘114相邻地显示。因此，头显 104可以基于图像数据计算左眼图像和右眼图像的透视图，使得全息图106出现在用户102的适当位置。

　　如818所示，全息图可以显示在参考对象的位置。例如，图2的全息图106可以显示在与桌子108相邻的位置。通过检测从桌子108反射的照明光112，即使在黑暗环境中，全息图106也可以显示在适当的位置。

　　名为“Device case including a projector”的微软专利申请最初在2021年6月提交，并在日前由美国专利商标局公布。