Karl Guttag：微软HoloLens 2激光显示解析（一）

　　图形和图像显示领域的知名科技博客Karl Guttag一直以来都在关注报道各个品牌的AR产品，而其中更是以HoloLens、Magic Leap、苹果等头部公司专利和产品居多。

　　关于微软HoloLens 2更是Karl Guttag常年的关注对象，HoloLens 2采用了全新的LBS与MEMS光学方案，对AR光学行业都有着积极的影响。而Karl Guttag在去年更是多次直面报道了HoloLens 2的优势与劣势，包括LBS解析度、衍射波导色散、均匀性等方面进行了重点关注。

　　而近期，随着HoloLens 2在美国等地向个人用户开放购买，Karl个人购买了一台，并已体验了几周时间。他表示：体验之后推翻自己关于MicroLED的相关论断，由于HoloLens 2的LBS被部分人看做是MicroLED的有力竞争技术，因此Karl再次对LBS工作方式等进行分析。

　　一，LBS无“彩虹”效应

　　经过测试，Karl已经通过相机拍摄了几千张HoloLens 2显示模组的照片，显示图像为测试图片，目的是更好的展示画面细节和肉眼不可见的细节。

　　结果发现，他本人购买的HoloLens 2的彩虹效应问题的确没有网络上流传的图片那么严重，并猜测其中可能的一个原因是难以找到代表性的画面。

　　二，场周期和刷新率

　　对于扫描显示设备而言，精度意味着图像从上到下一次扫描，而帧则表示一个时间点的整幅图像。目前关于帧的定义并不明确，因为有些系统会从下一帧切换场周期(域)。

　　据悉，HoloLens 2拥有四个场周期均为120Hz，而最终合成可能是60Hz或120Hz。

　　三，扫描线和像素的关系

　　对于扫描显示设备而言，扫描线和像素行是不相等的，对于HoloLens 2，它的像素行数量小于扫描线的数量。

　　四，HoloLens 2的成像原理

　　HoloLens 2的成像是一个极为复杂的过程。

　　1，120Hz频率

　　据报道，HoloLens 2的场频是120Hz，Karl的测试也印证了数据的准确性。为了拍摄单个场景/扫描，可以把相机快门设为1/125秒。

　　2，单色有2个VCSEL

　　根据微软光学架构师Bernard Kress此前的演讲公布的信息，HoloLens 2共为RGB每种颜色配备2个激光发射器。采用垂直堆叠，间隔1个像素。

　　上图是双激光发射器的结果，这张图片是水平线和垂直线放大后的图像，左侧是经过Photoshop过滤红蓝双色后的结果，右侧是源输入图像。

　　从上图中可以了解到，图片左侧为双像素线条排列，右侧是单像素线条排列，而其中的红色方块是单像素排列。

　　其中，左侧双像素的垂直纹理线每隔两个像素也发生像素偏移，而且像素偏移也是成对出现，上下不对齐的像素约半个像素。同时，每2个像素像素偏移原因是单个场周期中扫描的不同方向，激光在水平扫描的两个方向被分散开。

　　五，开启激光双向扫描

　　这是本文中最为复杂的验证部分。经过上面的验证，激光扫描显示仅在水平线上可以“像素对齐”的方式显示，垂直线会有锯齿状。

　　上图展示了同一张图(显示区域)中，不同区域的不同情况。其中，左侧会有明显的水平方向上的像素重叠导致的明暗条纹，中间区域则明显更为均匀。

　　而这个明暗条纹效应就是因为激光双向扫描引起的。为了进一步验证，在HoloLens 2红色激光器打开比较迟滞，有时需要10多个像素才能开启。通过上图中青色区域实际上对应着测试图片中的白色，而这青色条纹实际上就是对应着激光显示从黑色到白色的过渡。其中，左侧的的虚线为激光扫描线的宽度。

　　1，单个场周期有854条扫描线（不代表像素）

　　在HoloLens 2中显示像素和实际的扫描线并不相同，通过查看明显的测试图可以测出单个场周期共有854行扫描线，结合双VCSEL堆叠堆叠排列，以及双向扫描，意味着最大化的方式是四倍的数量，也意味着LBS有效垂直分辨率(像素)是小于扫描线的数量的。

　　2，完全、重叠、4行隔行扫描

　　HoloLens 2激光扫描是一个复杂的过程，在此前的推断中LBS中微型反光镜的速度还是不够快，达不到微软理想中的分辨率值，至少和微软宣称HoloLens 2分辨率的四倍还相差很远。虽然HoloLens 2每个颜色有两个激光发射器，好处是可以让扫描线数量翻倍，但实际运行的速度仅有宣称水平扫描速度的一半。

　　2-1，不均匀“弓形”扫描

　　微软在uspto中2018/0255278号专利也明确讲述了双激光扫描器的隔行扫描工作原理。

　　上图是专利图6的彩色版，从中我们可以看出双激光发射器在重叠部分就出现右图中明暗条纹出现。单激光扫描曲线是以正弦波(弓形)出现，而这个正弦波发生畸变是因为单个或多个反射镜。其中，当扫描水平翻转时就会出现光路重叠部分。

　　结合右上角图片来看，左边黄色椭圆形对应着“亮、暗、亮”的显示。而图片右上角也包括一个裁切的图像，其中显示器扫描线比图中距离更近，由此判断双激光发射器会在每侧明显会有1/3以上的重叠区域。

　　图片中左下角分别增加了红色和品红色两个隔行扫描场，隔行扫描向下移动了2个像素，这会在一定程度上填充第一个场周期的左侧和右侧间隙。

　　2-2，4路隔行扫描

　　Karl谈到：有些意外的是HoloLens 2没有采用常见的2个场耦合方式，而是采用了4个变体场。目前来看像是通过双堆叠激光器进行4路隔行扫描来实现，而使用正玄波式的扫描如果没有没有四个场，则会出现明显的明暗条纹。

　　如上图，Karl找到四个场的最左侧并进行裁切放大，并加入4条白色水平参考线，而图中的绿色线条为一组扫描线的合成，在回扫过程中就会形成更大的激光器。

　　2-3，弓形扫描的程度

　　上图展示的是一整幅图片的实拍图(仅通过绿色展示)，而在图片中也加入了三条辅助对比线条(红蓝色)，蓝色为水平，红色为整个扫描的曲线程度。

　　上图展示了黑白双色图片上的9个目标区域，这里面可以看出扫描上的不同。

　　3，4路隔行扫描

　　首先Karl介绍了一种至今投影仪行业仍然使用的一种像素偏移方式：Faux-K，上图是4向的像素移动的思路。

　　HoloLens 2使用了4向像素移动的方式，在四个区域中拍摄了变化形式。

　　下图场周期1和3每隔一个垂直像素就会出现向左/向右移动1或2个像素，形成锯齿状的效果;场周期2和场4呈现锯齿状，与1和3的方向相反。

　　上图中下方还出现了区域相叠加后(通过Photoshop进行处理)的结果，其中1+3、2+4的结果还算比较合理。

　　在一幅白色背景图片中，再次展示不同四个区域的图像以及图像重叠后的效果，甚至将以往各个区域融合后的30Hz视觉效果。

　　通过上面的两组图的4个场周期叠加后的图对比来看，你会看到这个效果仍然不是很理想，这时你仍能看到一些水平向的明暗纹理等。

　　为了验证上面的平均过程，Karl通过不同快门速度拍摄了一组照片，并由此区分场周期，其中1/30分钟秒正好对应着四个场周期，1/120秒对应着1个场周期，1/8秒对应着15个场周期。

　　上图中，1/30秒快门下的图片仍然存在使用Photoshop多个场重叠后的条纹，再将快门调慢到1/8秒后这些条纹才明显不可见。

　　对相同场周期的样本进行筛查后可以看出，HoloLens 2在相同场周期下的变化并不大，例如上图中那样。不过仔细看还会有细微差别，例如红色箭头处像素宽度不同。其中还有一些次像素的变化(目前还不确定，后续进行讨论)。

　　简单来说，像素移动的好处是“隐藏”式的改善了部分拖影情况，改善了“纱窗效应”同时也锐利的边缘进行模糊化。在HoloLens 2中，就是通过像素移动的方式实现双向扫描。

　　4，60Hz与30Hz闪烁现象

　　像素移动是因为它随着时间变化而呈现整幅图像，因此我们眼镜去观察时就会产生短暂伪影，也就是“闪烁现象”，经过4个场周期，然后通过4帧获得完整的图像。在120Hz的基准刷新率下，会存在60Hz或30Hz的闪烁成分。

　　在1990年代，CRT显示器往往有200nit、约85Hz的非隔行刷新率，而HoloLens 2据表明有500ni最大亮度，下图是它的刷新率和亮度的示意图，可以其建议HoloLens 2在95Hz以上的非隔行刷新。

　　HoloLens 2的另一个问题是人眼的周围视觉更容易产生闪烁，在隔行交错的过程，当黑色出现和消失时，闪烁为最明显。

　　较慢的短暂伪影会形成波纹状的视觉效果。特别是在用户移动头部或眼睛时看到的实心区域会产生条纹，以至于文本阅读更为困难。

　　5，红色激光束的问题

　　如上文提到，红色激光从全黑场景开启时会存在一些问题，就是背景中的白色会产生青色的偏色，而在HoloLens 2中亮度较低的情况下会更为明显。

　　上图是全彩图片实拍图，右侧是处理过后的单红色图像。其中，左侧黄色椭圆形内中间区域比中间左侧区域的青色要更为明显，在右侧红色处理图像的中间区域才切图则没有明显的红色。

　　造成这种影响是因为扫描过程中，外部速度较慢，而中心的光则以最大速度移动。因此，如显示相同的像素宽度就需要激光器更快速的切换。

　　6，反射镜频率为27000Hz，而非54000Hz

　　根据The Verge在HoloLens 2上市时的报道，其从微软获得的信息是HoloLens 2中的激光反射镜会以54000/秒的速度摆动。

　　而根据微软2018/0255278专利来看，当前MEMS技术的限制了反射镜的摆动速度，也就会影响分辨率。其中，27000Hz的水平扫描速率与60Hz显示对应，图像的分辨率可达720p。而在近眼显示设备中，720p会导致模糊。

　　这似乎也表明了HoloLens 2中发射镜工作频率要大于27000Hz才行，因此采用双激光器堆叠的设计。而在HoloLens 2中720p分辨率或更低时就会显得很模糊。

　　其中，HoloLens 2每秒会产生120个场周期，根据实拍的图像来看，每场中有854(±4)次激光扫描，将2个堆叠的激光发射器，进行双向扫描，因此反射镜的工作频率为854÷4=213.5个场周期，213.5×120Hz≈256000Hz或27000Hz，包含5%的垂直折回。

　　7，视场角约43×29度

　　通过Karl使用的奥林巴斯 25mm焦段四三系统镜头的视场角约37.6×28.2度，而HoloLens 2的显示图像正好超出相机水平视场角的5%左右。

　　六，结论：技术先进，结果糟糕

　　虽然微软HoloLens 2中采用的技术的确令人兴奋，尤其是激光发射器以及整个模组的精度。而Karl本人也已自在研究LBS激光扫描显示方案，包括Cynic的方案，以及Celluon投影机使用的Microvision与索尼LBS引擎方案。

　　而经过上述测试，Karl表明：HoloLens 2是一款采用了“先进的”、“惊人的”技术，比此前他本人测试的Microvision设备的激光对准要表现好很多倍。虽然花费了大量的时间和经费，但LBS激光扫描方案的最终效果目前仍然难能达到令人满意。虽然经过了重新采样，但很难给出一个明确的分辨率，他认为一块800×600分辨率的屏幕表现可能会比HoloLens 2的显示效果更好、更清晰。

　　参考：Karl Guttag