微软专利进一步介绍HoloLens上的传感器摄像头

　　摄像头已经成为了AR/VR头显的重要组成组件。在名为“Camera for augmented reality display”的专利申请中，微软就介绍了用于增强现实头显的摄像头。

　　图1示意性地描绘了一个增强现实场景。具体地，图1示意性地示出了在真实环境104中使用增强现实显示设备102的用户100。增强现实显示设备102通过近眼显示器106向用户的眼睛呈现图像，从而提供增强现实体验。由近眼显示器呈现的图像包括描述由摄像头捕获的真实世界图像，以及由增强现实显示设备生成或使用增强现实显示设备查看的虚拟图像的混合。

　　在图1的示例中，用户可以看到由增强现实显示设备摄像头成像的真实沙发110，以及由增强现实显示设备生成并作为增强现实体验一部分呈现在近眼显示器的虚拟角色112。

　　或者，虚拟图像可以由不同于增强现实显示设备的设备生成。例如，增强现实显示设备可以从单独的渲染计算机接收预渲染虚拟图像，并通过近眼显示器显示预渲染虚拟图像。渲染计算机可以是增强现实显示设备的本地计算机(例如通过有线连接或合适的无线协议进行通信)，或者渲染计算机可以远离增强现实显示设备(例如服务器计算机)，并通过互联网或其他合适的网络进行通信。

　　图2更详细地描述了真实图像和虚拟图像的混合。具体地，图2示意性地示出了增强现实显示设备102在使用期间的各个方面。近眼显示器106位于用户100的用户眼睛200附近，使得近眼显示器呈现的图像对用户可见。增强现实显示设备102配备有摄像头202。摄像头202配置为捕捉来自真实世界环境的光，并生成可用于有助于经由近眼显示器呈现给用户眼睛的图像的输出。

　　具体地，如图所示，摄像头202基于传感器输出信号203捕捉图1中的真实世界环境104的图像204。值得注意的是，图像204可以是静止图像，或者可以是具有任何适当帧速率的视频流的一帧，例如每秒90帧。

　　摄像头从真实环境接收到的光通常是可见光，从而产生真实环境的可见光图像，类似于用户眼睛在没有增强现实显示设备的情况下所看到的图像。然而，在其他示例中，摄像头可基于其他光谱(例如红外、紫外线、X射线等)生成真实世界环境的图像。因为所述光谱对人眼不可见，摄像头和/或增强现实显示设备可以将对应于接收到的光的像素值转换为合适的可见RGB值。

　　另外，在图2中，摄像头202沿着远离用户眼睛200的光轴212定位。以这种方式，摄像头的位置可以基本上类似于用户眼睛相对于X轴和Y轴的位置，只是Z轴不同。但在其他示例中，摄像头不必沿远离眼睛的光轴放置，而是可以具有相对于X、Y和Z轴的任何适当位置。图3-6提供关于摄像头202的更多细节。

　　增强现实显示设备102同时包括虚拟图像渲染器206，所述虚拟图像渲染器206配置为生成虚拟图像以通过近眼显示器显示给用户眼睛。如图所示，虚拟图像渲染器已生成描绘虚构向导角色的虚拟图像208。然后，虚拟图像208可以叠加在真实世界图像204以生成增强现实图像210。以这种方式，用户可以感知虚构的向导角色，就好像它实际存在于用户的真实世界环境中一样。

　　如上所述，摄像头202捕获真实世界环境的图像204，图像204与虚拟图像208组合以给出增强现实图像210。增强现实图像210经由近眼显示器106呈现给用户眼睛200，基本上替换用户对其周围环境的视图的至少一部分。但如图所示，摄像头的位置与用户眼睛的位置不同，这意味着现实世界是从不同于用户大脑通常预期的角度成像。如上所述，这可能会导致各种各样的问题，导致头晕。

　　当光线从摄像头光圈到图像传感器的光路修改为长度介于用户眼睛和摄像头光圈之间距离的适当阈值范围时，这可以减轻所述问题。这与将图像传感器物理定位到更接近用户眼睛的实际位置具有类似的效果。

　　图3A和3B示意性地描绘布置在摄像头202内的光学元件的细节，其可用于延长光从孔径到图像传感器的光路。具体地，图3A示意性地描绘了用户眼睛200，以及以横截面示出的增强现实显示设备102的近眼显示器106和摄像头202。摄像头202包括光圈300，光圈300配置为接收来自真实世界环境的光线302A和302B。摄像头202同时包括图像传感器304，图像传感器304配置为通过生成可用于在描绘真实世界环境的近眼显示器生成图像的传感器输出信号来响应从真实世界环境接收的光。光线302A和302B沿从光圈到由摄像头一个或多个光学元件提供的图像传感器的光路行进。

　　摄像头光圈可以有任何合适的形状和尺寸。在示例中，光圈包括在面向摄像头表面的环境中形成的环形环。如图6所述，图6示出了摄像头202的面向环境的表面。如图所示，摄像头202包括在外边缘附近形成的单个环形孔。图像传感器304以虚线示出，其描述了图像传感器相对于摄像头主体和光圈的相对位置。但在其他示例中，摄像头可包括多个光圈(和/或具有其他合适形状的光圈。

　　可以使用任何合适类型的图像传感器。在一个示例中，图像传感器可以是互补金属氧化物半导体(CMOS)传感器。作为另一示例，图像传感器可以是电荷耦合器件(CCD)传感器。

　　返回到图3A，摄像头202包括两个光重定向表面306A和306B，其提供光从光圈到图像传感器的光路。具体地说，光线302A和302B在两个光重定向表面之间反复反射，从而延长光路。应当理解，图3A中描绘的具体布置是为了示例而提供，不是限制性示例。例如在图3A中，光沿光路径被光圈远侧光重定向表面反射两次，并且被光圈近侧光重定向表面反射一次。但在其它实施方式中，光可沿光路径被每个光重定向表面反射任意适当次数。这可能根据尺寸约束、材料约束、所需光路长度和/或其他考虑因素而变化。

　　另外，在图3A中，图像传感器布置在两个光重定向表面的孔径近光重定向表面之上。在其他示例中，图像传感器可布置在光圈远侧光重定向表面之上，或具有相对于摄像头202的其他组件的任何其他适当位置。

　　如上所述，当光路长度介于用户眼睛和摄像头光圈之间距离的适当阈值范围内时，可以减轻晕动症，如图3A和3B所示。值得注意的是，光重定向表面306A和306B之间的光的重复反射增加了光路的长度，使其大于摄像头的物理长度，并且基本上等于用户眼睛200和光圈300之间的距离。

　　图3B显示了摄像头202的等效“展开”视图。具体地说，其示出了用户眼睛200、光圈300、光线302A和302B以及光圈近端光重定向表面306A，但省略了摄像头202的其他元件。本质上，图3B示出了光所采用的替代光路，其中光在空间中传播相同距离，但不被光重定向表面重复反射。

　　参考线312指示在图3A中光被反射的沿“展开”光路的位置。通过沿着这种交替的“展开”路径，光线会聚在用户眼睛的位置，而不是图像传感器。这相当于图像传感器布置在用户眼睛上或附近的场景，如示出图像传感器的等效位置的框314所示。换句话说，图3A中描绘的配置允许图像传感器成像真实世界环境，就好像图像传感器位于图3B中所示的314处一样。因此，图像传感器将具有与用户眼睛相似的透视图。

　　应当理解，光路长度可能与用户眼睛和摄像头光圈之间的距离有任何合适的关系。通常希望光路长度尽可能接近用户眼睛和摄像头之间的距离。但据估计，即使光路的长度仅为用户眼睛和摄像头光圈之间距离的50%，其都可以实现显著的益处。

　　所以一般来说，光路的长度将在用户眼睛和摄像头光圈之间距离的适当阈值内。作为一个示例，阈值可以等于50%。在其他示例中，阈值可以是25%或10%。可以使用任何合适的值，并且在特定情况下，阈值可以基于眼睛和被查看对象之间的距离。在特定情况下，光路长度可以动态地调整。

　　在图3A的示例中，两个光重定向表面是由气隙分离的独立组件。一般来说，两个光重定向表面可由任何合适的光传输介质分离。或者，两个光重定向曲面可以是单个结构的第一曲面和第二曲面。

　　图4示意性地示出了具有孔径402的不同示例摄像头400，其接收光404a和404b。光线沿着从孔径到图像传感器406的光学路径行进，其中光线由光重定向表面408a和408b反复反射。与图3A不同，在示例中，光重定向表面是单光透射基板410的第一和第二表面。

　　在两个光重定向表面物理分离的情况下，如图3A所示，两个光重定向表面之间的距离可以动态调整。换言之，两个光重定向曲面中的任何一个或两个都可以相对于摄像头主体移动，从而改变两个曲面之间的距离。为此，图3A包括可操作地耦合到控制器310的两个光重定向表面之间的距离调节器308。

　　例如，光重定向曲面中的一个或两个可以附着到轨道，并且距离调整器可以包括配置成沿轨道移动光重定向曲面的电机，例如，相对于Z轴。控制器310可以包括任何适合的计算机硬件和固件组件的集合，使得控制器可以被激活，以动态地调整光重定向表面之间的距离。通过调整差值，可以改变光从孔径到图像传感器的光路长度。

　　当两个光重定向表面是单个光学透射基板的第一和第二表面时，可以实现类似的效果，如图4中的情况。例如，光学透射基板可以是具有动态可变折射率的电光材料，例如液晶或其他合适的材料。所以如图3A所示，摄像头400可操作地耦合到控制器，而控制器配置为通过动态地提供电压或电流来影响光透射基板的光透射特性。

　　在图3A的示例中，所描绘的光重定向表面为平面且彼此平行。但其他示例可以采取其他方式。图5描绘了另一示例摄像头500。与摄像头202和400一样，摄像头500包括光圈502，其配置为接收来自真实世界环境的光线504A和504B。光线沿着从光圈到图像传感器506的光路行进，其中光线被光重定向表面508A和508B重复反射。

　　与前面描述的摄像头不同，摄像头500中的光重定向表面为弯曲。这种弯曲的光重定向表面可以具有任何合适的曲率半径，并且曲线可以是凸的或凹的，这取决于实现。另外，两个光重定向表面中的每一个不需要以相同的方式或以相同的程度弯曲。

　　光重定向表面508A和508B是由气隙隔开的独立组件。因此，与摄像头202一样，弯曲光重定向表面之间的距离在某些情况下可以通过任何合适的机制动态调整。或者，与摄像头400一样，弯曲的光重定向表面可以是单个光学透射基板的分离表面。在这种情况下，光学透射基板在某些情况下可以是具有动态可调折射率的电光材料。

　　光重定向表面以及摄像头的其他组件可通过任何合适的制造方法制造。作为一个示例，当使用平面光重定向表面时，可通过晶圆级制造来产生所述表面。因此，光重定向表面可以是硅晶片或其他合适的材料，其中一个或多个光学元件或涂层应用于晶片。或者，光重定向表面可以是单个晶圆的细分。当光重定向表面弯曲时，可使用另一合适的制造方法，例如金刚石车削。

　　一般而言，光重定向表面以及摄像头的其他光学组件可以由任何合适的材料组成。例如，光重定向表面可以由硅、塑料、金属、玻璃、陶瓷或其他合适的材料组成。当光重定向表面是光学透射基板的单独表面时，基板可由任何适当的透射材料构成，例如玻璃、透明塑料、透明硅或电光材料。

　　在各种情况下，基本上每个光重定向表面的整个表面区域可以是反射的，或者仅光重定向表面的各个部分可以是反射的。换句话说，每个光重定向表面的各个部分可以具有印刷在表面上或以其他方式应用于表面的反射涂层。

　　另外，布置在所述摄像头内的光学元件不需要限于迄今为止所描述的光重定向表面。相反，作为非限制性示例，合适的光学元件可以包括各种反射元件、透射元件、折射元件、衍射元件、全息元件、透镜、滤波器、扩散器等。

　　名为“Camera for augmented reality display”的微软专利申请最初在2020年5月提交，并在日前由美国专利商标局公布。