微软专利分享用HoloLens 2重新定位物联网设备 构建AR/VR与IoT连接

　　计算机和计算系统几乎影响了现代生活的方方面面。例如，计算机通常涉及工作、娱乐、医疗保健、交通和娱乐，而甚至家庭和商业经营现在都可以利用计算机，比如说借助物联网(IOT)设备。

　　事实上，物联网设备正变得越来越普遍，据估全球有数十亿台。随着物联网设备的广泛普及，跟踪和监控所述物联网设备在环境中的位置变得越来越必要，但同时越来越困难。例如，众多物联网设备易于携带，可以相对轻松地从一个位置移动到另一个位置，而由于其便携性，一般很难跟踪和监控物联网设备的位置，以及它们监控的条件或状态或状态。所以，存在改善物联网设备“重新定位”的实质性需求

　　在早前一份名为“Dynamically changing a fiducial marker for iot device identification”的专利申请中，微软就介绍了一种支持MR头显来有效识别和定位物联网设备的方法。日前，美国专利商标局又公布了一份类似与MR头显+IOT设备相关的发明。

　　延伸阅读：微软专利分享如何用HoloLens 2识别物联网设备，构建AR/VR与AIoT的连接

　　“Mapping sensor data using a mixed-reality cloud”主要描述了一种用于重新定位物联网设备的改进技术。

　　在一个实施例中，接收以数字方式表示由物联网(IOT)设备监控的一个或多个条件的传感器数据。作为响应，访问传感器读数映射，其中所述映射与物联网设备相关联。映射同时以数字方式表示物联网设备的环境，并且包括表示物联网设备在环境中的位置的数据。映射同时包括表示由物联网设备监控的条件的数据。另外，通过将传感器数据附加到映射来更新映射。

　　在一个实施例中，头戴式设备接收由物联网设备生成的传感器数据。所述数据描述/表示物联网设备在环境中运行时监控的特定条件。头显访问环境的数字表示，并将传感器数据与数字表示相关联。传感器数据用于环境中的特定区域。将传感器数据与数字表示关联的过程包括将传感器数据与对应于特定区域的数字表示的一部分关联或链接。然后，头显呈现虚拟图像，以可视化传感器数据。头显配置为在可穿戴显示器显示复杂的虚拟图像，并且进一步配置为响应于任何数量或类型的非预期外部刺激来更新虚拟图像。

　　在一个实施例中，服务器计算机系统重新定位物联网设备，并且更新物联网设备的操作覆盖区域的映射，以响应物联网设备的位置变化。所以，服务器计算机系统接收描述环境中的物联网设备的第一位置的传感器数据。服务器确定物联网设备没有改变位置，并主动避免更新记录物联网设备的操作覆盖区域的覆盖映射。随后，服务器接收：描述或数字表示物联网设备的第二位置;或至少指示物联网设备可能已移动的新传感器数据。服务器将新传感器数据与覆盖映射进行比较，以确定物联网设备已更改位置。服务器更新覆盖映射以反映新的第二位置，并确定物联网设备相对于第二位置的新操作覆盖区域。服务器更新覆盖映射，以反映新的覆盖区域。

　　请注意图3A和3B。图3A示出了用于从物联网设备收集传感器数据，并使用传感器数据更新与物联网设备相关联的传感器读数映射的示例方法300。方法300A可以由服务器执行，尤其可以由在服务器操作的MR服务执行。

　　首先，方法300包括从在环境中运行的物联网(IOT)设备动作300A：接收描述由物联网设备监控的一个或多个条件的传感器数据。传感器数据可以包括来自物联网设备的传感器的测量数据、来自物联网设备的摄像头的图像数据，以及来自物联网设备的IMU的IMU数据。

　　响应于接收传感器数据，方法300包括访问与IOT设备相关联的传感器读数映射的动作300B。这里，传感器读数映射出环境，或者更确切地说是数字表示环境，并包括代表物联网设备在环境中的位置的信息。另外，传感器读数映射记录，或者说包括指示或代表由物联网设备监测的条件的数据。

　　然后，方法300包括通过将传感器数据附加、链接或以其他方式关联到传感器读数映射来更新传感器读数映射的动作300C。通过这种方式，传感器读数映射能够跟踪和监控物联网设备捕获的传感器数据。作为更新传感器读数映射以包括传感器数据的结果，传感器读数映射更新以包括由物联网设备生成的测量数据。另外，作为操作的结果，服务器计算机系统包括关于物联网设备的感测操作条件的更新信息，例如物联网设备感测的当前温度、当前辐射水平、当前状态或状态等。

　　图4示出了传感器读数映射400的示例，如结合方法300所述。传感器读数映射400描绘了物联网设备当前所在环境的可视化。具体而言，物联网设备位于具有地板布局405的家庭(或建筑物)内，并且传感器读数映射400可以提供地板布局405的视觉描述，即映射的显示向用户呈现地板布局的可视化。

　　在这种情况下，楼层布局405包括多个房间，例如房间A、B、C、D、E、F、G、H、I、J和K。在这里，物联网设备是一个温度传感器，目前位于楼层布局405的房间A中。因此，IOT设备正在测量、检测或以其他方式观察房间A的温度条件、状态或参数。房间A同时显示为包括前面描述的蒸煮锅，但不需要显示地板布局405。

　　如传感器读数410所示，传感器读数映射400目前提供了房间A中当前温度梯度的视觉描述，即温度梯度的可视化)。在这里，房间A包括一个喷出热蒸汽的锅125。热蒸汽导致房间A中出现温度梯度。温度梯度在传感器读数图400中直观显示。在更接近锅125的位置提供更高的温度。随着距离锅125的距离增加，温度降低。物联网设备能够监控和检测房间A中的温度。通过从物联网设备获取传感器数据，MR服务能够以传感器读数映射图400的形式绘制，或以其他方式直观地记录所述传感器数据。除了IOT设备的传感器数据的视觉再现之外，传感器读数映射400同时可以包括详细说明传感器数据的数字和/或文本记录。因此，可以执行图3A的方法300来生成和/或更新IOT设备的传感器读数映射。

　　在一个实施例中，可以向用户提供视觉时间戳或其他指示。例如，假设第一个用户绘制出一个给定的房间。在这里，可以将时间戳附加或以其他方式链接到房间的扫描数据，以指示扫描何时开始或何时完成。随后，当第二用户进入房间时，第一次扫描的时间戳可以直观地显示给第二用户。通过显示时间戳，第二用户可以知晓之前扫描房间的时间，以及扫描数据的新旧程度。新旧程度取决于一系列的因素。例如，扫描具有众多能够移动对象的环境可能只在相对较短的时间内属于新数据。相比之下，对于几乎没有或根本没有能够移动对象的环境，扫描数据可能会在相对较长的时间内属于新数据。所以，新旧程度可能取决于环境的属性或特征，包括位于环境中的对象。

　　现在转到图3B，其示出了可由头显执行示例方法305的流程图。最初，方法305包括接收由物联网设备生成的传感器数据的动作305A。

　　然后，方法305包括动作305B，其中头显访问环境的数字表示。数字表示可以是由头显本身生成的3D数字表示。头显可以包括任意数量的扫描传感器，例如深度摄像头或其他深度传感器，并用于绘制环境的三维几何形状、形状和/或轮廓。生成的映射数据可用于生成环境的三维数字表示。三维数字表示可以包括三维表面重建网格、三维点云和/或代表环境的任何数量或其他类型的深度映射。

　　接下来，方法305包括将传感器数据与环境的数字表示相关联的动作305C。值得注意的是，传感器数据与环境中的特定区域相关联。参考图4，传感器数据与包括房间A到K的环境的地板布局405内的房间A相关联。

　　将传感器数据与数字表示关联包括将传感器数据与对应于特定区域的数字表示的一部分关联、链接、关联或以其他方式附加。例如，数字表示可以包括描述来自图4的楼层布局405的至少房间A的三维数据和/或二维数据。数字表示同时可以描述包括在楼层布局405中的其他房间(即房间B到K)。所以，因为数字表示至少描述了房间A，所以传感器数据可以与专门对应于房间A的数字表示的数据相链接或关联。

　　回到图3B，响应于：1.确定头显在物理上接近特定区域;或2.确定由头显渲染的场景正在可视化特定区域，方法305包括在头显渲染虚拟图像的动作305D。其中，虚拟图像代表传感器数据。因此，头显可以显示与物联网设备监控的一个或多个条件相对应的可视化。图5中提供了在方法305中执行的处理的示例。

　　具体而言，图5显示了头显500，头显500显示为包括视场505。图5同时示出了物联网设备510。在图中，锅515将热蒸汽释放到房间中。

　　如图3B的方法305所述，头显500已接收到由IOT设备510生成的传感器数据。传感器数据可以从MR服务接收，或者传感器数据可以直接从IOT设备接收，而不经过MR服务。

　　响应于从外部物联网设备接收传感器数据，头显500随后呈现与物联网设备510的传感器读数相对应的虚拟图像520。例如，图5示出了头显500如何呈现罐515周围的温度梯度。相对靠近锅515的区域视为更热(例如虚拟图像520中较暗的区域)，而相对远离锅515的区域则视为较冷(例如锅515周围逐渐变亮的区域)。因此，头显500能够可视化由IOT设备510生成的传感器数据，并且可以用于可视化由IOT设备510监控的条件、参数或因素。

　　在一个实施例中，物联网设备以预定频率传输其传感器数据。频率的例子可以是每隔几秒钟、几分钟、几小时、几天、几周甚至几个月。在一个实施例中，物联网设备根据一个或多个触发条件传输其传感器数据。触发条件可包括检测其监测条件之一发生变化。例如，物联网设备可配置为连续或周期性地获取传感器数据。传感器数据可以存储在物联网设备的缓冲区、缓存或内存中。

　　如果传感器数据的值在一次迭代到另一次迭代(即从一次传感器数据捕获到另一次传感器数据捕获)期间没有变化，则可能不需要将冗余或重复数据传输到MR服务(或头显)。所以在一个实施例中，物联网设备仅响应于其所监测的条件中检测到的变化而发送数据。当然，条件可以是任何受监控的条件。

　　例如，物联网设备可以响应温度、湿度、操作环境的变化，甚至物联网设备自身位置的变化(例如通过IMU数据的变化和/或物联网设备摄像头捕捉的图像记录变化)而传输其传感器数据。因此，在至少一个示例中，可以由MR服务和/或由头显响应于IOT设备的位置变化来接收传感器数据。

　　除了显示三维虚拟图像，头显500同时能够显示图4中传感器读数映射400的二维版本。头显500可以在视场505内同时显示传感器读数映射400和虚拟图像520。例如，传感器读数映射400可以显示为视场505内的迷你映射。

　　可选地，头显500可以配置为在显示传感器读数映射400和虚拟图像520之间切换，以便在任何时间仅显示一个。可以响应命令(例如语音激活命令、虚拟按钮操作或物理按钮操作)来执行这两种可视化之间的切换。

　　名为“Mapping sensor data using a mixed-reality cloud”的微软专利申请最初在2021年11月提交，并于日前由美国专利商标局公布。