苹果专利分享如何为Pancake光学方案VR头显纳入眼动追踪系统

　　传统的头显一般包括需要以一定距离放置的显示器和目镜，而这种结构令开发厂商难以缩小设备的厚度。一个解决方案是采用包括折反射透镜的目镜，因为折反射透镜可以折叠光路，从而令虚拟距离与实际距离的比率远大于简单折射透镜。

　　但当头显采用带有折反射透镜的目镜时，由于显示器移近目镜(从而接近眼睛)，目镜和显示器之间的空间变小，难以纳入越发成为主流的眼动追踪摄像头系统。

　　针对这个问题，苹果在名为“Method and device for image display and eye tracking through a catadioptric lens”的专利申请中指出，使用选择性畸变折反射透镜可以允许眼动追踪系统放置在非常靠近目镜的位置，并且不会造成目镜方面的失真，因为所述组件只畸变来自显示器的光，不会畸变来自光源的光。

　　通过这种方式，不仅可以减少头显的尺寸/厚度，而且减小了厚度后依然可以纳入眼动追踪系统。

　　在图4的头戴式设备400中，壳体401容纳显示器410，显示器410穿过目镜430将图像投影到用户10的眼睛。目镜430折射显示器410发射的光，以令用户10误认为显示器位于眼睛到显示器410的实际距离之外的虚拟距离。

　　为了帮助用户对焦，虚拟距离至少大于眼睛的最小焦距(例如7 cm)。另外，为了提供更好的用户体验，虚拟距离大于1m。

　　例如在一个实施例中，从眼睛到目镜430的距离约为15 mm，目镜430约为8 mm厚，目镜430和显示器410之间的距离约为38 mm。所以，从眼睛到显示器410的距离约为61 mm。然而，目镜430折射显示器410发射的光以提供约2m的虚拟距离。

　　壳体401同时容纳包括光源422和摄像头424的眼动追踪系统。一个或多个光源422将可由摄像头424检测的光图案投影到用户10的眼睛。根据由用户10眼睛反射并由摄像头424检测的光图案，系统可以追踪用户10的眼睛的相对位置。

　　显示器410在第一波长范围内发光，而一个或多个光源422在第二波长范围内发光。摄像头424检测第二波长范围内的光。

　　在各种实现中，第一波长范围是可见波长范围，第二波长范围是近红外波长范围。在图4的头戴式设备400中，目镜430在第一波长范围和第二波长范围内折射光。

　　在各种实现中，摄像头424布置成具有用户10眼睛的正面视图，从而最小化失真并确保眼睛的瞳孔可见以进行精确的眼动追踪。所以在各种实现中，摄像头424布置在目镜430和显示器410之间，而一个或多个光源422布置在眼睛和目镜430之间。

　　图5的头戴式设备500基本类似于图4的头戴式设备400，不同点在于，在图5的头戴式设备500中，一个或多个光源422布置在目镜430和显示器410之间。所以，一个或多个光源422布置成更靠近显示器而不是目镜430。

　　由于一个或多个光源422布置在目镜430和显示器410之间(并且距离目镜430的距离大于至少第一波长范围内的焦距)，所以一个或多个光源422发射的光由目镜430准直，并且在摄像头424检测到的眼睛图像中出现失焦，从而降低眼动追踪精度。另外，由于目镜430增加了眼睛与一个或多个光源422之间的虚拟距离，所以用户10能够对焦一个或多个光源122，从而可能造成视网膜损伤。

　　图6纳入了苹果提出的选择性畸变目镜630。图6的头戴式设备600基本类似于图5的头戴式设备500，但不同点在于，在图6的头戴式设备600中，目镜630折射第一波长范围内的光，同时通过第二波长范围内的光，而这一过程没有实质性失真。

　　因此，目镜630增加了从眼睛到显示器410的虚拟距离，而不影响从眼睛到一个或多个光源422或摄像头424的虚拟距离。

　　以这种方式，与图4的头戴式显示器相比，图6中的一个或多个光源422的位置更靠近光轴，从而提高了摄像头424的可检测性和眼动追踪系统的定位。另外，由于一个或多个光源422发射的光不像图5那样被目镜630准直，而且目镜630不增加眼睛与一个或多个光源422之间的虚拟距离，所以用户10不会像图5那样对焦一个或多个光源422，亦即减少了视网膜损伤的可能。

　　为了减小头戴式设备600的形状参数，例如壳体401的尺寸/厚度，在各种实现中，显示器410可以更靠近目镜630，从而更接近用户10的眼睛。在各种实现中，当目镜630和显示器410之间的实际距离减小时，仅折射光的目镜无法提供足够的虚拟距离。因此，在各种实现中，可以使用折射和反射光线的折反射目镜。

　　图7示出了具有折反射目镜730的头戴式设备700。图7的头戴式设备700基本类似于图6的头戴式设备600，不同之处在于，在图7的头戴式设备700中，目镜730包括选择性畸变折反射透镜，其反射和折射第一波长范围内的光，同时通过第二波长范围内的光，而这一过程没有实质性失真。同时，在图7的头戴式设备700中，壳体701的尺寸/厚度减小，显示器410(和眼动追踪系统)更靠近目镜730。

　　例如在各种实现中，目镜730和显示器410之间的距离在0到3mm之间。但由于选择性畸变折反射透镜在第一波长范围内折叠光线的光路，所以眼睛和显示器410之间的虚拟距离依然约为2m。

　　在各种实现中，选择性畸变折反射透镜是一种弯月透镜/凹凸透镜，包括由四分之一波长延迟器分隔的两半透镜。在各种实施例中，四分之一波延迟器包括四分之一波片或另一种双折射材料。因此，目镜730在没有实质性失真的情况下通过第二波长范围内的光，并且与目镜730在第二波长范围内反射和折射光时相比，由摄像头424检测到的眼睛图像具有更少的失真。

　　另外，在各种实现中，当一个或多个光源422和/或摄像头424布置在目镜730的第一波长范围的视场之外(同时位于目镜730的第二波长范围的视场中)时，眼动追踪系统可以从用户10的视场中隐藏。

　　图8示出了从显示器410穿过选择性畸变弯月透镜830向用户10眼睛发射的光线轨迹。选择性畸变弯月透镜830包括由四分之一波长延迟器分隔的两半透镜。在各种实施例中，透镜半体和四分之一波长延迟器可以如图8所示粘合在一起，或者在一个或多个透镜元件之间用气隙隔开。

　　可见光810被选择性畸变的弯月透镜830反射和折射。近红外线820则穿过选择性畸变弯月透镜830，并且没有实质性失真。所以，用户无法在可见光谱中看到摄像头424。因此，摄像头424从用户10的视图中隐藏。

　　图9是包括弯月透镜930的光学系统900。光学系统900包括显示器910，其将图像通过弯月透镜930投影到用户10的眼睛。

　　显示器910包括发射第一波长范围内的光920的发光器911。显示器910包括令光920线性极化的线性偏振器912。显示器910包括四分之一波长延迟器913，其将线偏振光改变为圆偏振光。因此，由显示器610发射的光920以第一圆方向圆偏振。

　　圆偏振光920照射弯月透镜930的部分反射、部分透射(PR/PT)表面931。在各种实现中，PR/PT表面931是50/50反射镜，其在第一波长范围内具有50%反射和50%透射的功能。所以，一部分圆偏振光920从PR/PT表面931反射回显示器931，并且一部分圆偏振光920折射(基于PR/PT表面931的几何形状和相对折射率)到弯月透镜930中。

　　圆偏振光920的折射部分穿过将圆偏振光改变为线偏振光的四分之一波长延迟器932。因此，在穿过四分之一波延迟器932之后，光920在第一线性方向线性偏振。

　　穿过四分之一波长延迟器932的光920遇到反射偏振器933，反射偏振器933反射第一线性方向的线偏振光，并发射与第一线性方向正交的第二线性方向的线偏振光。由于光920在第一线性方向上被线性极化，因此光920从反射偏振器933反射回四分之一波延迟器932。

　　然后，光920第二次穿过四分之一波长延迟器932，在第一个圆形方向上圆极化。光920遇到PR/PT表面931，并且光920的一部分从弯月透镜930发射回显示器910，而光920的另一部分则反射回四分之一波延迟器932。在反射PR/PT表面931时，光920的圆形方向改变为与第一方向相反的第二圆形方向。

　　被反射回四分之一波长延迟器932的光920的一部分第三次穿过四分之一波长延迟器932，其进入四分之一波片932具有第二圆形取向，并在第二线性取向中变为线偏振。因此，由于在第二线性方向上被线性极化，离开弯月透镜930，穿过反射偏振器933并朝向用户1的眼睛的光920的一部分将根据反射偏振器933的几何形状和相对折射率被折射。

　　相关专利：Apple Patent | Method and device for image display and eye tracking through a catadioptric lens

　　名为“Method and device for image display and eye tracking through a catadioptric lens”的苹果专利申请最初在2022年3月提交，并在日前由美国专利商标局公布。