Matthew Ball：十多年后AR/VR为何依然发展缓慢？

　　2010年，Magic Leap和微软就开始研发AR技术，直到2012年Oculus才成立，AR/VR经过了13年左右的时间，虽然受到越来越多人关注，但发展依然缓慢。VR的主要应用场景还是游戏，但VR游戏只是游戏市场的一个分支，规模始终有限。相比之下，AR面临更多技术和成本问题，发展进度远不及VR。回顾过去的AR/VR发展，投资人Matthew Ball发表了万字长文，详细分析了我们想知道的许多问题，比如：为什么AR/VR头显还没有取代手机，这项技术差在哪，到底还要走多久?此外，也解释了许多人对AR/VR技术的一些误解。

　　以下是这篇文章全文，青亭网针对部分内容进行了修饰：过去13年AR/VR大事件

　　当前的AR/VR发展热潮已经持续约13年之久，回顾这十几年有许多大事件，比如： 2010年：Magic Leap成立;微软开始开发HoloLens; 2011年：索尼开发PS VR;谷歌开发Google Glass原型; 2012年：Oculus成立; 2013年：Google Glass探索者版; 2014年：Meta收购Oculus;谷歌发布VR盒子Cardboard和SDK;Snap收购智能眼镜公司Vergence Labs; 2016年：Oculus Rift、PS VR、Daydream VR、HoloLens问世;Snap发布初代Spectacles眼镜;亚马逊开始开发Echo Frames; 2017年：Meta发布Oculus Go; 2019年：微软发布HoloLens 2;Google Glass企业版;Oculus Quest和Rift S;亚马逊Echo Frames; 2020年：Quest 2发布; 2021年：谷歌实验室回归，再次开发AR眼镜;字节跳动收购PICO; 2022年：Meta发布Quest Pro;Magic Leap发布ML2;索尼公布PS VR2;谷歌演示AR眼镜原型;字节跳动发布PICO 4。

　　Matthew Ball

　　展望2023年，许多消息灵通、财力雄厚的公司发现，XR技术比预期的要难得多。谷歌在发布Google Glass时曾预测，80%的人都戴眼镜，因此到2015年AR眼镜年销售额有望达数千万台。然而实际上，Google Glass只卖出几万个。而在2015到2016年时，Meta CEO Mark Zuckerberg曾坚信，十年内外观自然的AR眼镜将成为日常生活的一部分，并取代智能手机的各种功能，比如接听电话、分享照片或浏览网页，而大屏幕电视将变成一个1美元的AR应用程序。现在看来，Meta在2025年之前可能都不会推光学透视的AR眼镜。

　　2016年，Epic Games创始人/CEOTim Sweeney曾预测，在5到7年内VR将发展至PC般的规模，外观也会缩至太阳镜大小。然而7年过去了，这一目标可能还需要至少另一个7年才能实现。另外最新报道称，苹果的AR眼镜曾定于2023年首次亮相，后来推到2025年，现在已经被无限期推迟了。而Snap刚推出Spectacles时，引发众人排队购买，但在后续迭代三次后，Snap却不得不裁掉大部分AR硬件部门，将重点回归移动端AR。

　　​2019年，Magic Leap的估值为70亿美元，而到了2021年缩水了66%，估值仅剩25亿美元，而这比它的累计融资额(35亿美元)还低3亿美元，足以说明AR开发烧钱且进度缓慢。到了2022年1月，沙特阿拉伯的主权财富基金在向Magic leap投资4.5亿美元，并获得了Magic Leap多数控制权，而Magic Leap的估值此时似乎已降至5亿到10亿美元。

　　技术方面，AR/VR在过去13年时间取得了实质性进步。商业案例部署也越来越多，比如应用于土木工程和工业设计、电影制作、装配线和工厂车间、VR虚拟教室/实验室等等。通过Avatar参与者可在VR中与同伴进行眼神交流，其效用是显而易见的。VR在安全培训中也越来越受欢迎，特别是在石油钻井平台等高风险场景，可培训员工安全作业，避免生命危险。另外，约翰霍普金斯大学已经用XR设备辅助手术现场一年多，曾用于恶性脊柱肿瘤切除手术。而如果在高端VR头显Varjo Aero上玩微软飞行模拟器，便能感受到未来VR的样子。

　　这些案例在技术上给人留下深刻印象，意义重大，而且比以往任何时候都要好。尽管如此，按照十几年前的预期，AR/VR的未来现在早该实现，然而时至今日，依然没有被主流消费者或企业广泛采用，也没有足够多的"杀手级应用场景 "，市面上已有的各类AR/VR应用前景，依然还需要几年时间发展，而距离AR/VR取代手机、电脑还有很远的距离。

　　的确，部分VR游戏销量比往年大幅增加，甚至有几款营收超1亿美元，但几乎没有任何一款有可能被大量人群定期使用的可能性。另一方面，在VR交流、发表演讲比Zoom体验感更好，但使用起来麻烦，功能有限，且很难劝说其他人也使用，因此在VR上能做的事少，VR没有达到iPhone那样多功能。

　　硬件方面，Meta Quest 2销量很好，自2020年11月发布以来，预测已卖出2000万台以上，与Xbox Series X和PlayStation 5的销量大体相当。实际上，这三个游戏设备几乎是同时发布的，但相比之下Quest 2发展之路要难得多。举个例子，自1994年以来，PS1-PS4已售出近5亿台，为PS5带来很好的基础和动力，而且Xbox、PS产品在推出三年后也还在增长，相比之下Quest 2在第二年销量就有所下降。

　　值得注意的是，虽然Quest 2、PS5、Xbox Series X的用户规模相当，但活跃用户数量、体验频次/时长还是存在差异。截至2022年3月，PlayStation 5的用户平均每月使用该设备50小时，或每天大约2小时(比PlayStation 4在其生命周期的同一时刻多15%)。严格来讲，Meta Quest 2对AR/VR并不像iPhone对智能手机的意义。而且在iPhone出现之前，智能手机也定位在明确、大规模的市场，并非只有前景。更重要的是，AR/VR在电脑、智能手机、平板电脑、游戏主机后才出现，人们已经拥有多样化的计算设备，除非AR/VR可以替代其中的一个，否则不太可能被大规模采用。

　　当然，XR设备不会一下子取代现有的设备。最初，可能会有数以亿计的人将AR/VR与游戏机、PC和智能手机一起使用，其中可能有数千万人放弃后者中的一个，另外数亿人将在更长时间内继续使用AR/VR和2D设备，在合适的时机，这种转变才会来到。

　　另一方面，也有人认为AR/VR将补充现有的计算设备、为人们带来更多便利。比如霍普金斯大学脊柱融合实验室主任Timothy Witham博士认为，用AR做手术就像是用GPS驾驶汽车，GPS不会代替汽车或是车载电脑，同样AR/VR也不会取代现有的计算设备。AR/VR要想成功，需要的不是颠覆传统，而是变得更好、更快、更便宜或更可靠，但这一目标似乎还很遥远。相比之下，GPS已经有更多应用场景，不只能用于导航，手机上很多app也需要GPS定位，比如Siri、Tinder、Yelp、Spotify等等。然而GPS也经历了30多年(上世纪90年代才进入非军事领域)才在成本和质量方面成熟，成为日常生活的一部分。

　　表面上看，XR进展缓慢并非由于缺乏投资，过去15年里，已经看到多次大规模投资。比如Meta公司每年在XR上投入100-120亿美元，而且已经持续了几年，目前累计支出约400-500亿美元，并还在增长。然而，Meta第一方VR应用Horizon Workrooms、Horizon Worlds质量却不尽人意，受到广泛吐槽。尤其是Meta Avatar只有半身形象这件事，经常被人关注。苹果在XR上的投入规模不能确定，但它是美国前20名的专利申请者，多年来，这些专利的30-50%都与XR等沉浸式技术相关。据The Verge报道，苹果有数千名员工在研发XR头显，而且已经有好几年了。Snap和谷歌仅在XR相关的收购上就花费了数十亿美元。

　　微软的投资也不得而知，但在2021年，美国陆军曾计划以220亿美元购入12万台HoloLens(按阶段交付)，相当于每台设备18.3万美元(包括软件、维修、数据中心服务)，无疑为广泛的研发提供了资金，然而首批产品在2022多场实地测试中得到良好结果，其中80%产品会导致 "影响任务的身体损伤"，如头痛、眼疲劳和恶心。因此截至目前，陆军仅实际购入5000台HoloLens，花费350万美元，而在2023年1月，国会拒绝了陆军为该项目申请的4亿美元预算，仅批准4000万美元(10%)，用于开发新版HoloLens。一周后，微软宣布裁员1万人，以广泛削减成本。据彭博社报道，HoloLens部门受到的影响很大。

　　许多企业家、开发者、高管和技术专家仍然相信XR是未来(包括我)，并且最终取代大部分PC和电视屏幕。当然，从计算设备发展趋势来看，显示设备越来越接近我们的脸，UI/UX体验也更加自然和身临其境，进一步提升使用率。但为什么这个未来还没有来到?AR/VR依然如此落后?钱都去哪儿了?都取得了哪些进展?最重要的是，我们还要经历多少次寒冬，才能看到XR的春天和夏天? VR就是体感游戏主机吗?

　　在美国，一半以上的家庭都拥有一台游戏主机。通常，游戏主机是用户在家能拥有、使用、接触到的最强大的计算设备，甚至超越iPad Pro。即使你平时用企业级PC/Mac来办公，这些设备也主要放在办公室。相比于高性能游戏PC，游戏主机的优势是价格更实惠，有时候只是购买和主机性能相当的PC显卡，价格都会更贵。受益于巨大的规模经济，十年多来，标准的游戏主机出货量达到了50-150MM(MM即百万，相当于5千万到1亿5千万)，因此成本更低。另一方面，厂商通常采用“剃刀和刀片”商业模式，为游戏主机提供100-200美元左右的补贴，再通过应用抽成将收回补贴的成本。相比之下，显卡或显卡厂商没法从游戏交易中赚钱。

　　与其他主流电子设备相比，游戏主机算力曾一度更加强大。以至于在2000年，日本政府由于担心索尼PS2被用于全球规模的恐怖主义，甚至曾限制该设备出口。而到了2002年，美国商务部长Don Evans甚至指出，"昨天的超级计算机就是今天的PlayStation"。埃文斯的观点是强有力的，但说反了，应该是：今天的PlayStation将是明天的超级计算机。在2010年，美国空军研究实验室曾用1760台索尼PlayStation 3，建立了世界上第33大的超级计算机：秃鹰群(Condor Cluster)。据预测，该计算机只有同规格系统成本的5%到10%，功耗节省90%，同时功能也足够强大，可用于雷达增强、模式识别、卫星图像处理和人工智能研究。

　　然而在许多方面，市场对游戏主机的包容度高。2020年发布的PS5和Xbox Series X重量接近9斤，体积比鞋盒还大，但这似乎并不影响其受欢迎程度。在这一点上，用户对游戏主机没有像其他消费电子设备那么高。当然，游戏主机通常放在固定的位置，体积大也没关系，甚至有一定优势，那就是可以集成大风扇和大面积进气/排气口来增强散热。而这将有效降低硬件成本，因为不需要像手机那样需要特殊的小尺寸元件。另外，索尼微软的游戏主机直接插电，不需要电池，因此也缩减了体积和产生的热量(甚至缩减风扇体积)，而且不用担心续航问题。

　　网络连接方面，游戏主机通常支持Wi-Fi和以太网两种，不需要移动网络。此外，游戏主机也不需要自带显示器，可连接电视，进一步“节省成本”，同时也给用户更灵活的选择(比如1K或4K分辨率、LED或OLED屏幕)。通常，大多数电视放在人面前6-10英尺距离，除非电视尺寸超70英寸，否2K以上的分辨率往往不实用。相比于AR/VR头显，电视显示质量稳定，因为它一般放在环境光可控的固定环境中，而不是随身携带或在户外使用。

　　从硬件设计来讲，游戏主机也比AR/VR更容易，它可以将很多功能转移到其他外设上，比如可单独购买的手柄、耳机、蓝牙模块等等。而且游戏主机是娱乐设备，一些高端功能对它并不重要，比如运动追踪、精准物理模拟、照片级逼真感、办公协作等等。游戏主机的用途主要就是玩游戏，不需要像电脑那样同时运行多个程序或进程，而且游戏即使不支持物理模拟，也能足够好玩，因此不需要特别高端的配置(相比之下VR更需要物理模拟来实现沉浸感)。

　　当我们讨论VR/AR/MR时，经常拿游戏主机进行对比。经常有人评论，AR/VR体验看起来比十年前的游戏主机还要差，但价格确实后者二倍。这是因为3D场景的视觉渲染工作比2D要难得多，受到很多因素制约，所以VR/AR/MR头显的画面将永远比游戏主机差，毫无疑问。

　　限制AR/VR的因素都有哪些呢?首先，重量。任何设备都需要足够轻才能适合经常、长时间使用。通常，人们对AR/VR头显的可承受重量为300-700g，理想的重量视应用场景、使用时长而变化。因此，VR设备要比PS5或Xbox Series X轻90%左右，比任天堂Wii轻60%，甚至比任天堂Switch还小一点，外观还要美观舒适。而AR眼镜则必须更轻，虽然它可能很难像普通眼镜那样只有15-40g重，但仍然必须低于150克。重量局限自然也严重限制AR眼镜能具备的计算能力。

　　更重要的是，AR/VR硬件通常需要搭载电池，进一步增加了重量/体积和成本，而续航则决定了设备的使用时间。此外，电池会产生大量热量，长时间戴在头上并不输入。因此AR/VR硬件的电池需要体积小、重量轻，同时又要大功率、高效率。

　　其他的一些限制AR/VR的因素还包括：需要内置扬声器和麦克风，以及多个摄像头阵列(普遍认为至少要12个)、眼球/面部/手势追踪模组、陀螺仪等传感器。而且，AR眼镜还需要移动网络芯片，这又增加了重量和体积，并消耗电量、产生大量热量。

　　另外相比于传统游戏主机，AR/VR自带屏幕，而这将带来散热、重量、成本等问题。由于AR/VR屏幕靠近人眼，因此屏幕的像素密度需要足够密集(最低8K，16K更加理想)，所需的像素数是普通电视屏幕的数倍，因此成本相当高。

　　AR/VR要做的工作远比游戏主机复杂得多，比如环境识别和理解、目标定位、颜色和形状预测、材料和纹理分析、物体分类、物体行为理解和预测等等。此外，还要识别反射、透明表面，提示用户周围的边界和风险。而在AR/VR社交中，还需要眼球/手势/姿态追踪功能，才能在Avatar上实时体现用户动作。AR/VR的主要用途是模拟和投屏，比如在VR中接入视频通话，实现手机的作用。相比之下，游戏主机不需要具备这些额外功能，只需将算力集中在图形渲染上。

　　而在图像渲染方面，AR/VR为近眼显示方案，因此屏幕分辨率至少要8K才理想，相比之下广受喜爱的Switch掌机屏幕分辨率只有720p。这意味着AR/VR每秒要渲染的像素几乎是Switch十倍。而Xbox Series X和PS5虽然可选择各种规模的屏幕，但最高也只支持4K。

　　然而，分辨率/像素数量只是AR/VR显示的一方面，另一方面还要看刷新率。大多数游戏的目标刷新率是60Hz，也有一些支持120Hz或更高，不过通常刷新率太高可能会牺牲渲染清晰度。比如，《堡垒之夜》支持60Hz、4K分辨率，如果将刷新率调高到120Hz，分辨率会下降至1440p。在Switch上，《堡垒之夜》最高刷新率仅30Hz。

　　此外，许多游戏更注重内容复杂性，而不是视觉规格，而运行复杂的内容则需要大量计算能力。例如2022年发布的《哥谭骑士》(Gotham Knights)，它是3A级游戏，但却仅在30Hz刷新率运行，而这个刷新率对于AR/VR来讲远远不够。由于AR/VR的目标是模拟逼真的现实，人们普遍认为AR/VR头显的刷新率须达120Hz到240Hz，才能避免用户产生眩晕。用户在AR/VR中通过手柄、手势交互，但这些活动主要以视觉呈现，当屏幕非常靠近人眼时，输入和输出之间的任何滞后都会更加明显，从而出现感知差异。因此，AR/VR每秒渲染的像素要比传统显示设备多很多，而这意味着很多热量、需要大量电力、硬件体积也更大。最重要的是，占用了大量算力，甚至可能牺牲游戏的视觉保真度和内容复杂度。

　　相比于VR，AR受光学技术的限制更多。大多数消费级笔记本可实现300-600尼特亮度，企业版通常可达1000尼特，而电视的亮度则为600-1500尼特。这些设备主要放在室内，因此不需要特别特别亮，相比之下，智能手机要在室内、室外都能用，因此屏幕亮度要达到2000尼特才能在阳光下清晰显示。然而在实际情况下， 即使阳光没有那么亮，也会让手机屏幕看起来很暗。AR眼镜面临同样的问题，如果要全天候使用，它必须支持更大亮度，但这很耗电，会影响续航。另外，AR眼镜需要足够透光，用户才能看清楚周围的物理环境，因此AR需要在两种光学设计中做选择。一种是提升AR图像的亮度，避免因透过环境光而变暗，而另一种则是降低环境亮度，比如采用遮光罩或将透镜调暗。然而，有选择性的调亮或调暗很困难，计算量很大，目前还没人能解决。

　　当然，AR的续航问题也有一些解决方案，比如将计算单元和电池拆分为分体式模块(可放在包里、台面上等等)，好处是能减轻佩戴在头上的重量。在医疗场景中，AR眼镜计算单元可放在手术台上，眼镜仅配备摄像头、扬声器、显示模组和麦克风。VR也有这样的设计，比如PC VR，或是PS VR。尽管PS5主机体积大、重量重、功能强，但好处是散热好，直接插电，没有续航问题等等。一些专利表明，Meta的AR眼镜将配备一种类似心脏起搏器的装置(计算单元)，可挂在佩戴者的腰带上或放在口袋里。而一些传闻显示，苹果AR/VR头显将采用专用的"中继站"，可放在用户客厅或办公室周围，功能类似于AR/VR的主机。尤其是企业级AR头显，它在办公场所为员工共享，不需要配备通用组件、无线芯片、长效电池，或有美感的外观。这些AR头显通过企业的充电站换入和换出，并统一进行维护。尽管这种设计成本不低，但足以为企业客户接受，因为它们是共享的，还可以带动收入，而不仅仅是有趣。 AR/VR体验感更好?

　　AR/VR有很好的机会，不管这项技术在商业上是否成功，它都代表了令人难以置信的技术进步，随着行业不断推进AR/VR，它将展现出惠及所有人的价值。

　　实际上，所有消费技术都曾面临困难，并做出权衡。不同的是，AR/VR需要的优化有很多方面，包括散热、重量、续航、分辨率、刷新率、摄像头、传感器、成本、尺寸等等。马克·扎克伯格多年来一直坚持AR/VR技术，并年复一年为其花费100多亿美元，正是因为要解决这些问题。Meta的钱被投入到光学、LED、电池、处理器、相机、软件、操作系统等方方面面。如果扎克伯格能够解决AR/VR技术问题，并且竞争对手落后于Meta多年，那么AR/VR的资金回报可能会非常大。在2021年初，扎克伯格曾表示："我们这个时代最难的技术挑战，可能就是将一台超级计算机装进外观普通的眼镜框里。这很难，但它是将我们的物理世界和数字世界结合起来的关键。"

　　考虑到AR/VR面临的技术难题，那么即使有人觉得AR/VR画质起来像来自Wii，这也能算是一种恭维。这就像是再说，一个成年人背着一个50磅的背包，一边解数学问题一边跑100米，速度和一个12岁的孩子一样快。当人们评判Meta第一方VR应用的视觉完成度时，却不知道这种设计背后的权衡。人们普遍认为，Horizon、Meta Avatar很糟糕。然而，将它们的图形与第三方VR游戏(如VRChat或RecRoom)相比较，并不十分公平。Meta可以提升第一方VR应用的保真度，但却没这么做，因为图形"只是计算方程的一部分。牺牲了图形质量，Horizon Workrooms可将会议规模从2人扩大到8人，而这可能会将刷新率、Avatar清晰度、眼球追踪的准确性减半，同时也更耗电。而Meta Avatar，尽管只有半身形象，而且图形比较粗糙，但它的优势是跨应用通用，这样你就不用在每个不同的应用中切换形象。

　　实际上，Meta的AR/VR技术已经有很多进展。最初，Oculus Quest是纯VR设备，但Quest Pro扩展了VST混合现实模式。在2016年时，Meta的VR产品是Oculus Rift，它的分辨率只有1K，刷新率90Hz，重量达500g，价格为400美元，且不配备光学定位系统，需要使用外部基站。在2020年Oculus Quest 2问世，它和Quest 1的续航和价格一样，但像素数量翻了两番，并支持120Hz刷新率。相比于Rift，Quest系列头显加入了4颗Inside-Out摄像头，可通过这些摄像头透视周围的物理环境。2022年，Quest Pro将分辨率提高到大约5.25K(色彩对比度提高了75%)，并加入RGB摄像头，用彩色透视取代了原来的灰度透视。Quest Pro的传感器数量增加了3倍，共有12个(支持手部追踪、面部和眼部追踪)。Quest Pro也是Quest系列首个支持 "注视点渲染 "的型号。通过跟踪用户的眼睛，Quest Pro可将重点渲染在用户正在看的地方，并降低余光部分的保真度，从而优化计算。这种方案仍需要将显示屏提升至8-16K，这样余光部分的分辨率可达2-4K。

　　当然，Quest 2和Quest Pro的进步是有代价的。Quest 2只能选择性支持120Hz模式，较复杂的游戏被限制在90甚至72Hz。Quest Pro的最大刷新率为90Hz，而且续航比Quest 2足足缩短了三分之一，只有两小时。而重量则重量增加40%，达到700克。价格也翻了几倍，达到1500美元。相比于更理想的8-16K分辨率/120-140Hz刷新率，4K分辨率/90Hz刷新率仍有数倍差距。这还只是渲染的像素数量，我们还没谈到保真度，甚至模拟的复杂程度。更重要的是，Quest的摄像头依然不能很好的理解周围的世界。

　　随着时间的推移，AR/VR的技术差距将有望缩小。如果苹果在今年春季公布AR/VR头显，这将成为一个重要的时间点。苹果生产了在生产世界一流的硬件，尽管依赖第三方代工厂，但其能力是无与伦比的。同样，苹果的硬件、操作系统和界面协同工作，如果苹果正式进军AR/VR硬件，将有潜力向整个行业展示这项技术的最佳实践。苹果擅长并经常打破长期停滞不前、发展缓慢的计算方式，比如GUI、MP3播放器、智能手机、平板电脑和智能手表。

　　在00年代初期，苹果的两大热门产品iPod和iPhone，主要是采用外部元件，尤其是计算芯片。其制造规模和专业知识够用，用户群和开发者生态规模较小。相比之下，苹果在2023年变得不再一样。现在苹果有能力制造世界上最强大的微型系统芯片，其手机、平板电脑、智能手表的出货量超越世界上任何其他设备制造商，这反映了其制造能力和产品的受欢迎程度。此外，苹果拥有世界上最赚钱的开发者生态，它也是其最受欢迎的品牌之一。

　　苹果可以将AR/VR头显也引入其硬件和软件生态，比如使用利用用户的iPhone为其供电，替代分体式计算模块，或用Apple Watch来实现手部追踪等等。因此，苹果AR/VR头显更有可能受欢迎，更有可能实现高性价比、配备最优质的UI和应用生态，每美元成本将产生最大的性能，并将配备最好的界面和最多的应用，这么说不是没有道理的。更重要的是，苹果AR/VR技术可能与现有技术不同，而是会带来更好、更多的功能。按照苹果一贯作风，其首款头显应该比现有的AR/VR技术不止好一点。尽管如此，其价格可能会达到2000美元甚至3000美元，这样的价格将限制苹果AR/VR市场，中短期内，使其不得不定位于电影、动画创作等专业3D开发场景。

　　通常，新技术必须经历一段使用率有限，但不断增长的阶段。此前，计算机、网络技术仅在大型企业、公共研究实验室和政府应用，普通用户不仅负担不起，也不会很好的使用。而对于VR来讲，最初的用户可能是以3D为核心的企业，以及儿童、年轻人中的游戏玩家。我们不能断言技术成熟的时间，或是技术成为主流的时间，你应该问的，应该是什么时候出现什么技术，谁在使用，为什么使用，有什么目标。而决定这些问题的因素有很多，比如AR/VR设备的组件成本、功能、零售价格，或是有价值的软件等等。这些也是Meta关注的问题，现阶段该公司为了降低售价、推动采用率，会为每台VR头显补贴100-200美元，因此希望通过VR商店收入来平衡补贴，这将大量的用户使用率和应用交易收入。

　　假设Quest 2卖出2000万台，那么Meta大约补贴了30亿美元，更别提该产品的研发成本。而对于苹果来讲，即使其AR/VR头显的毛利率达到35%，也要被数千万甚至数亿用户使用，才能算成功。

　　AR/VR可以有很多应用场景，比如VR观影、VR体育直播、虚拟会议、虚拟教育、VR生产力工具、VR游戏等等。行业在这些场景已进行很多尝试，但目前为止这些应用的受众还未达到数百万级。而这就造成了一个鸡生蛋、蛋生鸡的问题。如果没有吸引人的内容体验，用户不会大规模购买AR/VR设备，但如果没有庞大而活跃的用户基数，AR/VR平台也吸引不到开发者。因此，我们可能看到很多3D应用开发者，但VR开发者很少。

　　硬件可能是阻碍AR/VR发展的原因之一，毕竟市面上还没有最小可行的VR产品。要想让VR起飞，它将需要配备8K显示屏，并支持120Hz刷新率，从而降低用户眩晕的可能。另外它需要搭载十几个摄像头、重量小于500克、价格低于1000美元，甚至500美元。现阶段AR/VR用户体验也有待优化。去年10月，前Reality Labs顾问CTO John Carmack表示："Quest的基础可用性还有待提高"，用户的VR体验经常 "莫名其妙中止"，而且"应用程序启动时间很慢，场景切换存在异常"。卡马克还透露，在2022年Connect期间，Meta内部员工想在VR中参加活动，却用了20分钟，多次重启设备才进入。更重要的是，VR要想和其他替代品(手机、电脑等计算设备)竞争，它的规模可能要比最低规格要求要高得多，才能被看做可行的产品。

　　当下，游戏依然是VR的主要场景，尽管很多人吐槽Quest的图形粗糙，但图形对游戏并非最重要;游戏玩法和趣味性更重要。虽然VR玩家乐意吐槽Meta，但他们清楚VR游戏好玩。参考1959年的《太空站!》、它的图形并不完善，但依然受欢迎。1993年，即使是基于文本形式的MUD游戏("多用户地下城")，也吸引了互联网总流量的10%。而2016年，Niantic刚推出《精灵宝可梦Go》时，该作只能勉强算是AR游戏，它还不支持3D世界理解、物理交互模拟等具有AR特性的功能。尽管如此，该作还是在全球爆火，积累了数以亿计的玩家。六年后，Niantic为其加入越来越多AR功能，该作的终身收入超过50亿美元。

　　另外，目前最受欢迎的游戏如Roblox、我的世界、Free Fire、游戏里面、糖果传奇等等，它们的图形并没有照片级保真度，这是开发者对美术风格的选择，并不影响玩家对游戏的喜爱。值得注意的是，图形上的改进也从未将非游戏玩家转化为游戏玩家，而直观的交互(物理运动等)却有能力转化用户，比如Wii Sports、吉他英雄。

　　VR游戏的体验感需要超越其他娱乐方式，如电视、阅读、棋盘游戏、龙与地下城、PC游戏等等。这样才能吸引用户来玩。但在休闲娱乐领域，VR并没有打赢其他内容，仅仅只有几百万用户，这并不够回报VR厂商的投入。的确，VR游戏具有更好的沉浸感，更直观的交互，以及更精确、复杂的控制。但其缺点也很多。据预测，VR的用户基数大约是2500-3000万，相比之下3A级游戏设备的用户基础(Switch、PlayStation、Xbox、PC)大约是3.5亿。此外，世界上大多数最受欢迎的游戏大多在2D平台，而不是在VR上。因此，很多VR用户只有少数朋友能和他们一起玩VR，这对于VR游戏是一个重大缺失。梅特卡夫定律指出，随着一起玩游戏的朋友数量增加，游戏体验也会更好。因此，VR游戏需要足够好玩，才能弥补玩家不能和好友一起玩的缺失，从而吸引游戏玩家选择VR。也就是说，VR游戏的乐趣需要超过游戏的社交乐趣。

　　最受人们欢迎的游戏不是VR游戏，说明VR游戏内容还不够受人喜爱，这也对上游硬件产生影响。就拿PS VR2来讲，当玩家已经花费549美元购买PS5后，还需要再花400-500美元才能玩上VR，这很难推动VR被采用。更重要的是，VR还不支持大规模多人游戏。比如VR大逃杀游戏，每场比赛只有二十几个玩家，相比之下手游、PC、游戏主机的大逃杀游戏却能支持50-150人。另外，AR/VR头显的算力局限，也影响了AR/VR能实现的游戏玩法，以及续航、舒适度、重量、分辨率等方面。

　　正是由于这种现状，大部分大型游戏公司放弃开发VR游戏。不仅VR玩家玩家基础太小，已经拥有VR设备的用户也会将大部分游戏时间和支出集中在非VR平台上。的确，VR的保有量、使用量和收入都在增长，但速度还不够快，在可预期的3-5年内，游戏开发商还看不到VR足够大的机会，因此很难优先为VR开发游戏。虽然游戏公司曾将非VR的作品移植到VR上，但大多数游戏不适合这种方式。索尼移植《Gran Turismo》是一个很好的选择，因为它是第一人称游戏，有相对可预测的行为，而且多人模式规格少(同时渲染的数量更少)。因此，调整游戏的控制或体验并不困难，而且算力有限的VR设备仍然可以运行该游戏。相比之下，《生化危机7》没有赛车游戏结构良好，但仍采用第一人称视角，而且玩法仅限单人游戏，离线就能玩。

　　而像《堡垒之夜》或《使命召唤》这样的游戏，根本无法被移植，因为它们是专门为非VR平台设计的。这体现在游戏许多技术决策上，比如大规模地图、高分辨率、100多名玩家竞技等等。而且，《堡垒之夜》是第三人称，在VR中容易引起眩晕。另外，建筑内部的设计方式、跳跃或射击的机制等游戏内容复杂，在PC和主机上操作起来已经很困难，在Switch、手机上更难，更别提VR。

　　一些2D多人游戏支持VR，但原本是为2D界面设计，并非专门针对VR，但这限制了游戏在VR中的玩法，不能很好的利用VR特性。即使是像Rec Room或VRChat这样的热门VR社交游戏，也不再只支持VR。据说，90%的普通用户在访问此类社交游戏时使用的是2D设备。可以肯定的是，这些游戏在VR中体验更好，但它们在VR之外却更受欢迎，这反而给了开发者更多动力，并说明用户购买VR设备的意愿较低。这也是为什么，Meta一直在收购VR开发团队。Quest的开发生态还不能吸引很多大型或初创游戏工作室，因此只能通过收购，来打造优质的第一方VR游戏。在Meta收购的VR工作室中，有许多是盈利的，并可以独立运用。Meta收购它们后，便可以更积极地投资，从而推动VR游戏收入，以及平台的用户规模。

　　对开发者来说，VR还存在另一个问题，那就是VR平台多、迭代速度快。VR产品迭代有助于推动技术目标，但这也将用户数量分散。Meta Quest Pro就是一个很好的例子，它比Meta Quest 2的性能强得多，但用户规模可能都不到Quest 2 5%。。因此，大多数开发者只能同时为这两个平台提供游戏支持，由于它们配置不同，这也限制了VR游戏对VR硬件特性的利用，同时也减少了用户购买Meta Quest Pro的必要性。

　　今年，Meta将发布Quest 3，它的发展预计会受到Quest 2制约，但Quest 3可能比Meta Quest Pro更畅销，因此将进一步打击专注于Pro的开发者。这也是为什么，游戏主机的迭代周期在6到8年，期间只会小幅迭代，比如PS 4 Pro。甚至于，相互竞争的游戏主机的功能差距也不大，重点是迎合主流2D游戏玩法，而非大幅创新。游戏主机厂商意识到，大多数游戏是为主流游戏主机和个人电脑而开发的，因此不太深入支持一些主机独有功能或性能。

　　现阶段，PS VR2展现了独特的功能，其依托于PS5的用户基础，未来将有足够大的潜力。相比于HTCVive、Meta Quest，PS VR2在性能上具有优势。比如，它比Quest Pro轻100克，分辨率高10%，刷新率高33%，而且PS VR2游戏在技术上和视觉上都更加复杂。PS VR2的价格位于Quest 2(400美元)和Quest Pro(1500美元)之间，但你需要购买PS5才能使用PS VR2，这大约需要1100美元。

　　当然，PS VR2也存在不足，比如分体式设计不便携，以及色域预计比Quest Pro少40-50%，而混合现实模式也仅限于黑白单色。另外，PS VR2的屏幕还未达到理想VR的最低规格。

　　除了硬件外，PS VR2与众不同之处在于内容生态。首先，索尼可以说是本世纪最成功的3A级游戏开发商，比其他任何游戏公司推出的原创热门游戏更多。因此，可以期待PS VR2推出更多高质量VR游戏。对于VR平台来讲，内容是成功的关键因素之一。参考Valve在2020年推出的VR独占游戏《半衰期：艾利克斯》，虽然该作的质量在今天依然是VR天花板，但仅靠这一款VR大作，并不足以打动很多玩家。

　　在未来的几年里，PS VR2可以成为索尼重要的驱动力，为PS生态带来任天堂、Xbox不具备的优势。同时，索尼还可以通过为PS VR2构建第一方VR游戏，驱动新的利润来源，并进一步吸引玩家。PS VR2还有一个意义，就是帮助索尼为VR打基础，以应对未来游戏平台向AR/VR转移的潜在趋势。

　　值得注意的是，索尼是屏幕和光学器件的领先供应商(据报道，索尼为苹果的大多数移动设备，以及AR/VR设备提供显示模组)，因此PS VR2可借助索尼的内部制造和研发能力，共同推进显示技术和VR技术发展。

　　不过，由于PS VR2生态只是PS5的一部分，因此其用户规模不会超过PS5。截至目前，索尼已经卖出3000万台PS5，这一数字有望在2025年增长至6000万台。如果每四个PS5用户中就有一个购买PS VR2，那么到2025年，PS VR2的用户基数可能达到1500万台，这对于3A级游戏开发商来说仍不够，难以推动他们去开发VR独占游戏。而且开发者不太可能只开发PS VR2独占游戏，而是也会在Quest 2等VR头显上发布。

　　实际上，行业对VR游戏的关注有点偏离VR初衷。总体来看，游戏市场很小，每年收入不到2000亿美元，一些3A级游戏仅占其中3.5亿美元。这样小众的市场，并不足以让AR/VR设备进入全球数亿人的手中，更别提数十亿人了。然而，几乎每种潜在的VR应用都是类似的情况，在企业解决方案方面，甚至更艰难。企业特别不愿意接受新的平台，尤其是那些需要额外硬件的平台。因为这很昂贵，部署新的设备、培训员工、采用新的流程和软件模型、推动方案迭代成本很高，而且费时费力。因此，市场上大多企业都在等待VR商业案例规模化、更成熟，而现在还远未达到这一水平。事实上，大多数企业软件都没有VR模式，VR独占的软件方案也很少。即使用VR开会比视频会议更有效，也很少有企业愿意费力去采用VR头盔。VST头显可以在电脑屏幕周围显示虚拟的分屏，这个应用有一定潜力，但实际上，为员工配备多个显示器很容易，比购买Quest Pro更便宜，而且无需培训就能用。

　　​前面内容主要讲了VR，接下来讲讲AR。很多人认为，AR眼镜更有潜力，甚至某天能取代智能手机，并成为全球最主要的计算平台，日活用户达到数十亿人。实际上，一些VR头显正在通过支持VST混合现实模式，为AR奠定基础。但由于AR发展较晚，技术远不如VR成熟，因此AR发展要更落后于计划。正是为了绕开AR的续航和光学问题，才诞生了基于VST透视的混合现实头显。

　　就拿HoloLens来讲，微软在2016年发布首款HoloLens，2019年发布HoloLens 2，HoloLens 2的分辨率是上一代三倍，视场角增加了60%，处理器核心数量是原来四倍，但所有的重量和尺寸都一样，仍然是头盔大小。然而，价格却从原来的3000美元上涨到3500美元。

　　此外，HoloLens 2的视场角只有人眼正常视力的20%，分辨率2K但刷新率仅60Hz。而且是在2K分辨率和60赫兹的情况下。尽管支持环境识别功能，但HoloLens 2能识别的东西很少，分析的信息更少。

　　在消费级AR市场，Snap的Spectacles具有一定代表性。初代Spectacles于2016年发布，重45克，并不支持AR显示。后来在2021年，Snap推出支持AR显示的Spectacles AR眼镜，加入了GPS和3D渲染功能，分辨率达到1K，视场角仅26.3°，而设备重量却增加近两倍，达到135克。相比之下，普通眼镜重量不到50克。而且，其续航不到30分钟。然而，Spectacles AR眼镜的进步却不算多，只是加入了AR环境理解、入耳式扬声器所有这一切的好处都是适度的--基本的、有背景的AR覆盖(例如，田野上的蝴蝶)，一个远不如任何AirPod的入耳式扬声器，以及穿戴式相机。

　　很多人认为，如果没有电池技术、无线电源、光学和计算机处理方面的非凡进展，我们根本不可能看到想象中的AR/VR设备，AR/VR也不可能取代智能手机，或是拥有几亿日货用户。对此，Epic老大Tim Sweeney的看法并不乐观，此前他曾预期AR/VR设备还需5-7年时间发展，但后来又改口称，虽然AR是未来，但从Magic Leap等公司的发展来看，AR不仅需要新的技术，还需要新的科学突破，才有可能取代智能手机。Sweeney还指出，他不清楚这需要多少年，也许是10年，也许30年。他只希望能在有生之年看到AR成功，对此他并不十分确定。 元宇宙是下个阶段?

　　文章开头我就提到，AR/VR发展速度令人失望，理想的AR/VR设备仍然需要很多年。读到这里，你可能对这一现状的原因有了更好的理解。重要的是，我们不清楚，是什么导致人们对AR/VR普遍存在错误的乐观情绪。答案可能有很多种，比如人们以为AR/VR也能像智能手机一样飞速发展，拥有数百万亿用户，从2G迭代到4G，并成为现代生活中通讯的关键设备;或是认为AR/VR也能吸引苹果、谷歌等大公司入局，为其构建如iOS、安卓的开放平台，或是在Meta努力下，成功构建新的AR/VR平台;而且，AR/VR是新兴的领域，人们自然对其有很大期待。在2010年，人们可能不会想到，AR/VR需要超高分辨率和刷新率，才能避免眩晕。这需要经过长时间的原型开发、测试，才能发现。

　　那么经过13年对AR/VR的投资，虽然我们无法预测未来还需要多久发展，但也许可以参考智能手机发展史来进行预测，毕竟AR/VR的目标之一就是取代手机。据悉，第一台移动电话在1973年问世，而第一个无线数字网络是在1991年，第一台智能手机则是在1992年推出(来自IBM)。苹果在1994年曾推出平板电脑，(缺少移动网络芯片组)，而主打企业客户的黑莓手机在90年代末起飞，WAP在1999年跟进(该技术使大多数手机可访问原始版本的万维网)，以及第一个D2C媒体服务在21世纪初在日本出现。苹果在2007年才推出初代iPhone，而安卓和苹果应用商店在2008年出现。很明显在2007年到2008年，出现了从PC/本地计算到移动/云计算的阶段性转变，这距离移动技术出现已经过30多年。后来直到2014年，才有一半的美国人拥有智能手机，到了2020年，拥有智能手机的世界人口才达一半。

　　现在看来，并不是所有普通人都拥有智能手机，因此认为AR/VR在几年前取代智能手机，是很大的错误。的确，以前出现过技术加速发展，超过中间技术的例子，比如在中国电子支付直接跳过了信用卡，在一些市场手机发展赶超了PC。但手机目前还有一定发展空间，在尺寸、屏幕分辨率、续航、亮度、成本等方面还有待提升。相比之下，主流AR/VR头显也建立在底层移动技术上，也许能比智能手机更快将新技术从实验室交付到消费者手中，但在提供给广泛消费者之前，它还需要更多时间来完善。

　　那么，当元宇宙这个新的热门概念被炒起来后，我们又将看到哪些发展?这项技术又将在何时到来?它能否到来?通常，人们容易将元宇宙与AR/VR相关联或混淆。但重要的是，你要意识到设备只是设备，也许它们会成为访问元宇宙的最佳/首选方式，但设备只是访问元宇宙的方式。AR/VR与元宇宙的关系，就像是触屏智能手机与移动互联网的关系。设备无疑扩大了移动互联网的使用对象、时间、地点、内容、频率和效果。但移动互联网不是智能手机，移动互联网也不需要触屏。要访问移动互联网，你甚至根本不需要一个视觉界面，用语音助手就行。

　　这样看来，AR/VR硬件的局限反而可能影响元宇宙发展，抑制其增长。如果AR/VR是元宇宙唯一入口，那么它们将限制进入元宇宙的对象、时间、地点、原因、时长和效果等因素。而那些从未用过高端AR/VR设备的人，或是未体验过AR/VR过山车等复杂内容的人，可能会低估这项技术和元宇宙的非凡性。让老人使用和熟悉AR/VR很重要，他们在年轻时可能没玩过双模拟游戏手柄，在使用VR时也存在一定门槛。相比之下，从小就玩《塞尔达传说》、Roblox的这一代年轻人，似乎可以更快习惯VR的头部运动追踪等特性。

　　相比于VR，AR体验感有很大的不同，它在物理环境之上渲染3D虚拟物体，同时还需要扫描周围环境，并模拟AR与使用者、环境之间的物理交互。现阶段，AR在智能手机上得到迅速应用。尽管移动AR没有AR眼镜那样直观、沉浸，但它已经在全球拥有数十亿人用户，而且每年技术都在进步。现在的智能手机越来越擅长环境扫描，甚至可以将真实物体转化为3D模型。而通过机器学习算法，移动AR能进一步理解真实世界，并在此基础上渲染3D AR内容，或是将扫描转化的3D模型叠加在真实环境上。

　　随着AR/VR被证明存在诸多挑战，越来越多人开始发掘元宇宙在智能手机上的可行性，这超出人们预期，但也很重要。在2022年，元宇宙概念提出者Neal Stephenson就曾表示：​我在《雪崩》一书中创造了元宇宙一词，这本书于1992年出版，当时我曾预想元宇宙基于VR平台，但这并不是一个疯狂假设。后来，我还曾进入AR公司Magic Leap，推动以AR为基础的Magicverse。值得注意的是，我在写《雪崩》时，游戏并没有成为主流。而现在随着游戏技术发展，数十亿人可以在2D屏幕上轻松浏览3D内容。尽管基于键鼠的2D UI并不符合大多数科幻小说的预测，但科技发展常常基于现有的技术。比如，人们普遍使用的键盘就是基于机械打字机设计。考虑到人们已经对现有技术产生依赖，如果开发者在构建元宇宙平台时，没有考虑到这些用户，那就会走错路。因此我预计，前期大量元宇宙内容将主要基于2D屏幕(主流市场)，而AR/VR将作为可选项，为未来更便宜、更先进的AR/VR硬件作准备。

　　的确如此，Stephenson在《雪崩》中曾预测，本世纪10年代中期，经常使用AR/VR眼镜的人将超过一亿。然而到了2023年，AR/VR依然难以打开主流市场，2D设备依然是元宇宙最有潜力的平台。比如，世界上最受欢迎的3D平台Roblox就是主要基于2D，截至2022年底，其日均用户已突破6100万，月均用户超250万，月均使用时间近50亿小时。而平台的UGC世界则近1亿个，每个世界都具有货币交易、通信套件、虚拟化身、门户等功能。值得注意的是，Roblox的增长并非短期，即使在疫情缓和后，它仍在增长，日活用户同比增长了18%，每日玩家使用时间增长3%，相比于2019年第四季度，该平台整体增长了近100%。

　　实际上，2D界面足以满足许多3D体验，Roblox就是众多例子之一。尽管Roblox支持VR模式，但从根本上说，它并非专为VR设计，VR只是其支持的设备中一小部分。值得注意的是，Roblox用户中有90%来自智能手机和平板电脑端，使用触屏来交互。与Meta的VR社交平台Horizon Worlds相比，Roblox的月活用户是前者的1250倍以上。此外，Roblox的用户规模也相当于VR社交应用Rec Room和VRChat的20-60倍。

　　尽管如此，Roblox的成功值得AR/VR学习，因为它在2004年就开始开发，2006年正式推出，而直到2020年之后才被大家广泛关注。实际上，是在硬件技术发展后，Roblox才实现了更多样化的体验。同样，将AR/VR作为虚拟社交平台的选项也很重要，这可以让软件应用尽量与AR/VR硬件发展同步。实际上，随着VR设备被更多人采用，Roblox似乎也在筹备专门的VR应用。

　　驱动Roblox发展的另一个主要因素，是游戏在青少年一代的普及。随着iPad平板电脑普及，越来越多小孩学会了使用它看视频、玩游戏，并养成了刷屏的手势，甚至看书、看杂志都想用手势放大或翻页。现在，一些从小使用iPad的孩子大概已经12到13岁，甚至有一些即将成年，而他们则构成了一群内容消费者，愿意为内容付费，或原创内容。这些媒体消费者现在正在花自己的钱购买内容--有些已经在自己创造内容。在这些内容消费者眼中，这个世界是互动式、沉浸式的，他们想要不再只是看视频、分享视频这种被动体验，而是交互式的游戏和社交，比如Roblox或我的世界。他们喜爱社交互动，因此更愿意拥抱VR等还在发展初期的新技术。每年，交互式社交的目标平均增长1.4亿儿童，这些儿童年龄在8到9岁之间，都是iPad活跃用户，他们的出现抵消了2021年以来不再使用或减少使用iPad的用户。

　　因此，我们也许可以将计算平台发展分为三大基本阶段：

　　第一个阶段，是出现基于该技术的最低可行性产品;拿iPad来讲，它在2011年实现了第一阶段;

　　第二阶段，则是有一代人从小使用这项技术长大;直到过去几年，才看到一代iPad用户的影响力;

　　第三阶段，是从小接触新技术的用户，成为创业者，比如在20世纪90年代互联网时期成长的马克·扎克伯格，就靠开发Facebook成立了大型科技公司，或是移动互联网时代的90后企业家Evan Spiegel。从小体验沉浸式社交平台的一代人正靠近第三阶段，因此该技术有正向发展的潜力，但VR的发展时机就还无法确定。

　　VR可能已经进入第一阶段，或者，它可能即将到来，又或者可能还需要十年。当然，VR也可能永远不会成为主流(以数十亿台设备来定义)，而是成为主流AR背后的技术积累。与其问一项技术何时成功，更应该问何时会发生什么，谁会来使用，为什么会这样，要达到什么目的等细节问题。因此，我们也无法确定某家公司何时采用某硬件或某服务，或是建立某项业务的时间点是否太早或太晚，这并没有固定的答案。智能手机在本世纪00年代兴起，尽管黑莓、Palm、诺基亚、Windows Mobile等品牌已经问世十年，智能手机出现的节点也不晚，因为它找到了正确的手机界面、交互方式(触屏)、价位和核心市场(消费者)。而到了10年代初，再进入智能手机市场(比如Windows Phone)已经太晚了。另外Snapchat、Instagram、TikTok等社交应用，在智能手机出现至少7年后才问世，但依然获得广泛应用。尽管如此，它们还不能取代Facebook，因为Facebook比iPhone、安卓手机更早亮相。

　　那么最后，元宇宙的发展进展到了哪里?只有时间能给我们答案。