索尼AR/VR专利探索减少全息显示虚拟图像失真的技术

　　在全息显示系统中，减少图像失真是一个重要的课题。在名为“Image display apparatus”的专利申请中，索尼描述了一种能够减少根据视点位置改变而发生的虚拟图像失真的技术。

　　为了实现这一目的，专利描述的图像显示设备包括发射单元、衍射光学元件和发射控制单元。发射单元发射目标图像的图像光。衍射光学元件包括入射表面和发射表面，衍射进入入射表面的图像光，从发射表面发射图像光，并显示作为目标图像的虚像。

　　使用根据取决于视点位置变化的虚拟图像显示状态变化而生成的图像数据，发光控制单元控制发光单元的图像光发光。虚拟图像显示状态的改变可以包括虚拟图像的显示器位置改变、虚拟图像的亮度改变或虚拟图像的色度改变中的至少一个。

　　发射单元可以发射作为与多个视点位置相对应的多个目标图像的多个视点图像中的每一个的视点图像光。在这种情况下，发射控制单元可以通过使用与多个视点图像相对应，并且根据多条视点图像数据来控制发射单元对视点图像光的发射。

　　在一个实施例中，可以对多条视点图像数据进行图像处理，以校正虚拟图像的显示状态的变化。可根据衍射光学元件的光学属性执行用于校正虚拟图像显示状态变化的图像处理。其中，所述图像处理可以包括在预定方向连续地对多条视点图像数据中的每一个执行校正处理。

　　发射单元可以包括多个投影仪。在这种情况下使用从多个投影仪中的每个投影仪发射的图像光作为对应的图像光，发射控制单元可以使用与多个投影仪相对应的多条对应图像数据来控制多个投影仪中的每一个的对应图像光的发射，从而控制发射单元的图像光发射。同时，可以根据取决于视点位置改变的虚拟图像显示状态改变来生成多条对应的图像数据。

　　发射单元可以发射作为与多个视点位置相对应的多个目标图像的多个视点图像中的每一个的视点图像光。在这种情况下，多条对应图像数据中的每一条可以被划分为多个图像区域，其中至少一个图像区域对应于视点图像的一部分。

　　可以对多条对应图像数据中的每一个图像数据进行图像处理，以针对多个图像区域中的每个图像区域校正虚拟图像的显示状态的变化。用于校正的图像处理可以包括在预定方向连续地对多个图像区域中的每个图像区域执行校正处理。

　　发射单元可以包括由双凸透镜系统、透镜阵列系统或视差屏障系统中的任何一个系统构成的多视图显示器。多视图显示器可以发射多个视点图像中的每一个的视点图像光，所述多个视点是与多个视点位置相对应的多个目标图像。在这种情况下，多视点图像数据可以划分为与多个视点图像相对应的多个图像区域。

　　可以对多视点图像数据进行图像处理，以针对多个图像区域中的每个图像区域校正虚拟图像的显示状态变化。

　　在一个实施例中，衍射光学元件可以是反射全息光学元件或透射全息光学元件。

　　另外，图像显示设备同时可以包括检测视点位置的检测单元。在这种情况下，根据显示状态的改变而生成的图像数据可以是根据视点位置而生成的数据。同时，发射控制单元可以基于检测到的视点位置来控制发射单元对图像光的发射。

　　图1描述了所述图像显示设备的基本配置。图像显示设备100用作虚拟图像显示设备，并且能够向用户显示虚拟图像。

　　如图1所示，图像显示设备100包括发射单元5、衍射光学元件(DOE)6和发射控制单元7。发射单元5发射目标图像的图像光8。目标图像是作为显示目标的图像。图像光是配置图像的光。

　　衍射光学元件6包括入射表面10和发射表面11，衍射进入入射表面10的图像光8，从发射表面11发射图像光8并显示作为目标图像的虚像1。

　　在图1中，其上形成有虚拟图像1的虚拟图像表面3示为虚线区域。在一个实施例中，全息光学元件(HOE)可以用作衍射光学元件6。例如，配置为以预定发射角发射以预定入射角进入HOE的光的HOE可以用作衍射光学元件6。

　　所以，可以在期望的方向上发射进入HOE(衍射光学元件6)的光。HOE可以具有平面镜/曲面镜的属性。

　　在图1A所示的示例中，反射全息光学元件(反射HOE)9a可以用作衍射光学元件6。反射HOE 9a配置为在特定角度范围内衍射进入入射表面10的光，并将光发射到与入射表面10相同的表面。因此，如图1A所示，在反射HOE 9a中，入射表面10和发射表面11是相同的表面。

　　在特定角度范围内进入反射HOE 9a的光以取决于入射角的发射角被反射。另外，以不同于特定角度范围的入射角进入反射型HOE 9a的光不太可能被干涉条纹衍射并穿过反射型HOE9a。

　　因此，通过反射HOE 9a配置透明虚拟图像屏幕，并且可以显示通过虚拟图像屏幕叠加在背景上的虚拟图像1。

　　在图1B所示的示例中，透射全息光学元件(透射HOE)9b可以用作衍射光学元件6。透射HOE 9b配置为在特定角度范围内衍射进入入射表面10的光，并将光发射到与入射表面10相对的表面。因此，在透射HOE 9b中，入射表面10和发射表面11是彼此相对的表面。

　　在特定角度范围内进入透射HOE 9b的光以取决于入射角的发射角从发射表面11发射。另外，以不同于特定角度范围的入射角进入透射型HOE 9b的光不太可能被干涉条纹衍射并穿过透射型HOE9b。

　　所以，透射式HOE 9b构成透明虚拟图像屏幕，并且可以显示通过虚拟图像屏幕叠加在背景的虚拟图像1。

　　发射控制单元7通过使用根据虚拟图像1的显示状态变化(取决于视点位置2的变化)生成的图像数据15来控制发射单元5对图像光8的发射。因此，可以减少取决于视点位置2的变化的虚拟图像1的显示状态变化。

　　图2是示出作为图1所示的图像显示设备100的实施例的多视点显示设备110的配置示例的示意图。图2A示出了包括反射HOE 9a的配置示例。图2B示出了包括透射HOE 9b的配置示例。在图2B中，省略了虚拟图像1和虚拟图像表面3的图示。

　　多视点显示设备110包括多视点视频源17、HOE 9(9a和9b)和发射控制单元7。多视点视频源17用作图1所示的发射单元5。

　　多视点视频源17能够显示与多个视点位置2(2a至2c)相对应的多个视点图像18。即，多视点视频源17能够发射多个视点图像18(18a至18c)中的各个视点图像光线19(19a至19c)。

　　多个视点图像18(18a至18c)对应于与多个视点位置2(2a至2c)相对应的多个目标图像。HOE 9(9a和9b)衍射并发射从多视点视频源17发射的多个视点图像光线19(19a至19c)。因此，显示多个视点图像18(18a至18c)中的每一个的虚拟图像1。

　　图3是示出视点图像18a至18c的示例的示意图。作为与视点位置2b相对应的视点图像18b，视点位置2b是相对于多视点显示设备110在前方的位置，显示当从前方观看对象21时的图像。视点图像18b是由视点图像光线19b构成的图像。

　　作为与视点位置2a相对应的视点图像18a，视点位置2a是相对于多视点显示设备110从前方的视点位置2b向左移动的位置，显示当从左侧倾斜地看到对象21时的图像。视点图像18a是由视点图像光线19a构成的图像。

　　作为与视点位置2c相对应的视点图像18c，所述视点位置是相对于多视点显示设备110从前方的视点位置2b向右移动的位置，显示当从右侧倾斜地看到对象21时的图像。视点图像18c是由视点图像光线19c构成的图像。

　　因此，可以从前方的视点位置2b观察视点图像18b的虚像1。可以从左侧的视点位置2a观察视点图像18a的虚像1。可以从右侧的视点位置2c观察视点图像18c的虚像1。

　　结果，向左和向右移动视点位置2使得能够观察到对象21的不同取向。

　　例如，当用户移动视点位置2时，虚拟图像1的显示从移动之前从视点位置2观察到的虚拟图像1改变为移动之后从视点位置2中观察到的图像1。如图3A所示，生成从视点位置2观察到的每个虚拟图像1，从而表达对象21的不同取向。换句话说，生成与每个视点位置2相对应的视点图像18，从而表达对象21的不同取向。因此，可以观察到对象21的不同取向。

　　图3B是示出包括图2B所示的透射HOE 9b的配置中的视点图像18a至18c的示例的示意图。

　　在透射HOE 9b用作衍射光学元件6的情况下，由从多视点视频源17发射的视点图像光线19构成的视点图像18以相对于用户的水平翻转状态再现。因此，在使用透射HOE 9b的情况下，需要水平翻转并显示希望再现的图像。

　　如图3B所示，通过水平翻转图3A所示的视点图像18(18a至18c)而获得的图像被显示为视点图像18。可以从前方的视点位置2b观察通过水平翻转图3B所示的视点图像18b而获得的虚拟图像1。可以从左侧的视点位置2a观察通过水平翻转图3B所示的视点图像18a而获得的虚拟图像1。可以从右侧的视点位置2c观察通过水平翻转图3B所示的视点图像18c而获得的虚拟图像1。

　　结果，向左和向右移动视点位置2使得能够观察到对象21的不同取向。

　　发射控制单元7通过使用与多个视点图像18对应的多条视点图像数据来控制多视点视频源17的视点图像光线19(19a到19c)的发射。

　　在松鼠实施例中，使用用于分别显示图3A和图B所示的多个视点图像18a至18c的多条视点图像数据。

　　多条视点图像数据包括根据虚拟图像1的显示状态的改变而生成的图像数据15。其中，虚拟图像1取决于图1所示的视点位置2的改变。即，根据取决于视点位置2的变化的虚拟图像1的显示状态变化来生成多条视点图像数据。

　　另外，多条视点图像数据是经过图像处理的图像数据，而图像处理用于校正取决于视点位置2的变化的虚拟图像1的显示状态变化。

　　图4示出了多视点视频源17的示例的示意图。多视点视频源17通过多投影仪系统的显示器来实现。在多视点视频源17中，多个视点图像光线19a至19c通过将多个投影仪26a至26e的图像光线投射到透射各向异性漫射屏25而发射。

　　各向异性漫射屏25漫射并透射分别从多个投影仪26a至26e发射的相应图像光线27a至27e。因此，多个视点图像光线19a至19c从各向异性扩散屏25朝向透射HOE 9b发射。

　　透射型各向异性扩散屏25具有例如在水平方向和垂直方向上具有不同扩散率的各向异性扩散特性。通过布置各向异性扩散屏25，可以以适当的宽度再现由视点图像光线19构成的视点图像18。

　　多个投影仪26a至26e向各向异性扩散屏25投影图像。即，多个投影仪26a至26e向各向异性扩散屏25发射相应的图像光线27a至27e。

　　作为投影仪26的光源，可以使用激光光源。因此，可以使用具有窄波长宽度的彩色光来显示视点图像18，从而提高透射HOE 9b的衍射效率，并且可以提高显示亮度。另外，可以避免由于透射HOE 9b的色散引起的图像模糊等。

　　图5示出了由多视点视频源17再现的多个视点图像18a至18c。视点图像光线19a构成视点图像18a，视点图像光线18b构成视点图像18。另外，视点图像光线19c构成视点图像18c。

　　如图5所示，与对应图像数据29的三个图像区域30一样，每个视点图像18在左右方向分成三个部分。

　　图4所示的视点图像光线19a由以下相应的图像光构成。基于对应图像数据29a的左侧区域30a1(构成由投影仪26a投影的图像的左侧区域的图像光) 基于对应图像数据29b的中间区域30b2(构成由投影仪26b投影的图像的中间区域的图像光) 基于对应图像数据29c的右侧区域30c3(构成由投影仪26c投影的图像的右侧区域的图像光)

　　因此，图5所示的视点图像18a通过组合分别由投影仪26a、26b和26c投影的图像的部分(左区域、中间区域和右区域)来实现。

　　对于前方的视点位置2b。除了来自前方的投影仪26c的光束(中间区域30c2的对应图像光线27c)之外，来自左侧和右侧与其相邻的投影仪26b和26d的光束(左侧区域30b1的对应图像光线27b和右侧区域30d3的对应图像光束27d)同样进入眼睛。

　　来自每个投影仪26的光束(每个图像区域30的对应图像光线27)被具有宽度的各向异性扩散屏25扩散。因此，利用以条形分割的三个图像区域30的光束，用户可以观察单个图像，亦即虚拟图像1。

　　另外，在其他视点位置2a和2c，用户可以观察单个图像，亦即虚拟图像1。

　　名为“Image display apparatus”的索尼专利申请最初在2022年6月提交，并在日前由美国专利商标局公布。