Meta专利探索将真实世界对象通过MR集成到VR环境中

　　将真实世界对象合并到虚拟现实环境中的现有方法是，渲染与真实世界对象相对应的混合现实对象。基于真实世界对象的属性，VR应用程序可以通过改变对象的外观来渲染MR对象。

　　例如，真实世界的沙发可以渲染为户外VR环境中的公园长椅，或者VR环境中的体育场座椅。但换句话说，当用户从一个VR应用移动到另一个应用时，VR应用可能限于仅改变真实世界对象的外观，而不改变MR对象的功能。

　　但有时候，针对不同的VR应用，可能存在着不同的渲染需求。例如，VR流媒体应用可能希望将真实世界的沙发呈现为MR沙发，亦即真实对象的功能与MR对象的功能一致。但对于VR西部游戏应用，其可能希望将真实世界沙发渲染为MR岩石堆，并将其用作需要绕开的障碍物或者作为防御性掩体。

　　在名为“Platformization of mixed reality objects in virtual reality environments”的专利申请中，Meta就介绍了一种可以确定真实世界对象的基本属性(例如大小、形状、功能)，并有效地将真实世界对象作为MR对象集成到VR环境中的方法。简单来说，VR系统可以使用真实世界对象的属性信息来确定MR对象的适当功能。

　　例如，在一个场景中，真实世界的沙发可以呈现为MR沙发，并且在另一个VR场景可以中呈现为MR岩石堆。

　　在特定实施例中，计算系统可以接收转换到第一VR应用的第一VR环境的指令;计算系统可以访问真实世界对象的属性信息;计算系统可以基于真实世界对象的属性信息，为一个或更多个真实世界对象中的每一个确定适用的第一混合现实MR功能。

　　计算系统可以为VR显示设备呈现第一VR环境，并纳入与一个或多个真实世界对象相对应的MR对象。每个MR对象可以包括适用于对应的真实世界对象的第一MR功能之一。所以，用户可以捕获他们的真实世界环境，然后将相关数据作为供其他VR应用访问并插入的MR平台，亦即“MR对象的平台化”。

　　图3示出了VR系统100的组件。存在真实世界对象145和真实世界环境150。真实世界对象可以包括物品(例如键盘、杯子、控制器等)和家具(例如桌子、椅子、沙发等)。真实世界环境150可以对应于用户的办公室、客厅、厨房等。

　　图4至图5示出了示例环境图170。

　　参考图4，环境地图170包括真实世界环境150中的一个或多个真实世界对象145。多个不同的VR应用173可以利用环境图170为用户生成MR体验。

　　例如，VR流媒体应用可以将真实世界椅子作为MR沙发。作为另一示例，VR棋盘游戏应用程序可以利用真实世界的桌子作为棋盘游戏的MR游戏区域。

　　在特定实施例中，VR系统100可以接收转换到第一VR应用173的第一VR环境160的指令。用户可以选择VR应用173。例如，用户可以选择VR流媒体应用，并且VR系统将接收转换到VR电影院环境的指令。

　　图6示出了对应于真实世界对象145的示例MR表面156。创建用户界面(UI)157可以出现在VR显示设备135，以供用户标记要渲染为MR表面156的真实世界对象145的表面。

　　用户可以调整MR表面156的尺寸，例如，通过调整创建UI 157的参数，或者通过选择MR表面156并将其边缘拖动到期望的尺寸。

　　MR表面156的尺寸可以由VR系统100半自动地或自动地确定。然后，用户可以通过显示真实世界对象145的透视视图来查看与真实世界对象155相对应的MR表面156，同时意识到其他真实世界对象145的存在。

　　图7示出了示例MR对象155及其相关MR表面156。MR表面156可以对应于3D MR对象155的2D表面。真实世界对象145的MR表面156可以对应于平面表面。MR对象155可以包括真实世界对象145。

　　换句话说，MR对象155的MR表面156可以对应于边界框。可替换地，MR对象155的MR表面156可以符合真实世界对象的尺寸。

　　图8-9示出了MR对象155的示例定制特征。参考图8，VR系统100可以用一个或多个组件填充边界框164。例如，与座椅相对应并具有边界框164的MR对象155可以填充有MR垫、木板、瓷砖等。

　　另外，VR系统100可以允许用户定制具有各种配置的MR对象。例如，MR床可适配为包括诸如扶手、靠背或附接点的部件。同时，可以使用一个或多个平面投影162来确定边界框164的尺寸。

　　参考图9，VR系统100可以将项目合并在壳174内(例如包围VR环境160的壳)，并利用真实世界对象145作为壳174内的MR对象155。VR系统可以包括虚拟UI 190。虚拟UI 190可合并到MR对象中。

　　VR系统100可识别用户可作用于其上的MR对象(例如MR表面156)，并与用户确认MR对象可用。例如，VR系统100可以向用户确认MR桌的MR表面156可用作桌面。另外，VR系统100可以自动或半自动地将真实世界对象145识别为潜在MR对象155。例如，VR显示设备135可以扫描真实世界环境150并识别可以用作MR对象155的真实世界对象145。

　　图10示出了对真实世界对象145的捕捉。VR系统100可用于手动、半自动或自动地捕捉要用作MR对象155的真实世界对象145，并且手动地将MR功能分配给MR对象155。

　　作为另一示例而非作为限制，VR系统可以使用对象识别算法来识别真实世界对象的对象类型，并要求用户确认是否将真实世界对象添加为MR对象，并将MR功能应用于MR对象155。作为又一示例而非作为限制，用户VR系统100可以使用对象识别算法自动识别真实世界对象145，并自动将其添加为VR环境中的MR对象155(即不需要用户确认)，并将适当的MR功能分配给MR对象155。

　　图11示出了MR对象155的属性。MR对象155的一个属性是MR对象155移动176。即，当真实世界对象145移动时，可以更新VR环境160内的对应MR对象155的位置。MR对象155的另一属性是MR对象155功能。VR系统100可以基于其功能自动地对真实世界对象145和/或MR对象155进行分类。

　　作为示例而非限制，现实世界的桌子可以分类为MR桌子，而现实世界的沙发可以分类成MR沙发。作为另一示例而非限制，现实世界的桌子可以分类为MR柱并供用户隐藏在后面，而现实世界的沙发可以分类成MR障碍物。

　　另外，VR系统100可以调整MR对象155的尺寸和样式，例如图案、颜色或主题等等。

　　图12A示出了基于VR环境160定制MR对象155的外观。MR对象155的外观和/或风格可以定制为与VR环境160融合或对应。参考图12A的左侧示例，在“破旧”的VR环境中，现实世界的沙发可以渲染为破旧的MR沙发。参考图12A的中心示例，在“豪华度假村”VR环境中，现实世界的沙发可以呈现为豪华MR沙发。

　　图12B示出了基于VR环境160定制MR对象155的功能。MR对象155的MR功能可以定制为由VR应用程序使用并且适合于VR环境160的功能。

　　参考图12B的左侧示例，在“策略游戏”VR环境中，真实世界的桌子可以呈现为MR棋盘游戏的棋盘。参考图12B的中心示例，在“博物馆”VR环境中，真实世界的桌子可以呈现为持有MR绘画的MR大理石柱，并用作用户必须绕过的虚拟障碍物。参考图12B的右侧示例，在“露营”VR环境中，真实世界的桌子可以呈现为MR石头塔，并允许用户踩在真实世界的桌面上。

　　图13示出了用于对MR对象155进行分类的用户界面。专利描述的方法可以利用用户界面来帮助用户对MR对象155的MR功能进行分类。

　　在特定实施例中，可以向用户呈现用于对MR对象155进行分类的用户界面，以对MR对象154应该呈现为的对象类型进行分类。

　　VR系统100可以针对一个或多个真实世界对象145中的每一个，基于其属性信息来确定适用于真实世界对象的一个或更多个第一MR功能。适用于真实世界对象145的MR功能可以对应于真实世界物体145的一个或多个真实世界功能。

　　作为示例，如果真实世界的沙发具有提供坐下位置的真实世界功能，则MR功能将相应地提供坐下位置。另一方面，适用于真实世界对象145的MR功能可能不对应于真实世界对象145的一个或多个真实世界功能(参见图12B)。作为示例，现实世界的沙发可以在一个VR环境(例如在VR流媒体应用中)中呈现为MR沙发，并且在另一个VR场景(例如VR西部游戏环境中)中呈现为MR岩石堆。

　　名为“Platformization of mixed reality objects in virtual reality environments”的Meta专利申请最初在提交，并在日前由美国专利商标局公布。