苹果专利分享在Vision Pro多人手势交互情景下确认用户的身份

　　XR环境允许多个用户在XR环境中与虚拟对象或彼此交互。例如，用户可以使用手势与XR环境的组件进行交互。但对于多人会话，系统需要确认执行手势的用户的身份。在名为“Confirm gesture identity”的专利申请中，苹果就介绍了这样一种方法。

　　图2描述了根据一个或多个实施例的用于配准用户的手的流程图。流程图200从205开始，电子设备检测用户的存在。电子设备可以检测到用户正在启动使用电子设备。或者可选地，用户可以主动启动配准过程以配准用户的手并识别用户和手势等。

　　在210，电子设备提示用户开始配准过程。根据一个实施例，电子设备可以提示用户在摄像头视场中呈现用户的手。电子设备可以提示用户用手执行特定的手势。在其他实施例中，用户可以选择要用于识别的手部特征。

　　在215，电子设备尝试提取特征。基于电子设备接收到的传感器数据，如图像信息、深度信息等，系统可以自动提取特征。特征可以包括显性特征，如骨骼长度、皱纹、神经布局、指甲、手掌线条、毛发和手臂长度等，特征可以包括隐性特征，如通过深度学习识别的特征。在

　　在220，确定是否提取手特征。例如，可以收集传感器数据以提取足够的特征以唯一标识用户。如果收集到的传感器数据不足以提取手部特征，则流程图继续进行225。流程图继续到215，其中电子设备尝试根据用户对附加指令的响应提取手部特征。

　　返回到220，如果确定了手特征已提取，则流程图继续230。其中，电子设备可选地检索与用户的配置文件相关联的附加用户特征。

　　流程图在235结束，其中电子设备100将在215提取的手特征与来自230的附加用户特征相关联，从而更新配准存储。例如，本地配准可以存储在用户配置文件存储中。

　　图3描述了在基于手部特征的环境中识别用户的流程图300。流程图从305开始，在这里检测到用户开始使用电子设备。如果用户正在与电子设备进行物理交互，则用户可以开始使用电子设备。

　　作为另一个例子，电子设备可以检测到在设备前面有一只或多只手的存在。电子设备可以确定检测到的手与设备的新用户相关，例如未在当前用户列表中列出的用户。

　　在310，授权模块可以使用传感器数据检测场景中的手。例如，来自传感器的传感器数据可用于扫描物理环境的可见区域以寻找手。

　　在315，任选地，确定手是否可见。如果用户的手不可见，则确定无法收集足够的传感器数据来执行手的识别或追踪程序。如果手不够明显，则流程图继续到320，并为用户提供额外的说明。额外的指令可以是提示用户展示他们的手，将他们的手移动到一个更好的位置或执行更好的姿势等等。

　　返回到315，如果手可见，当在310的场景中检测到手时，则流程图继续325。例如，可以提取场景中可见的每只手的手部特征，例如，可以在310检测到传感器数据。可以执行检查以确保充分提取手的特征。

　　在330，任选地，确定是否提取手特征。如果可以从特征中确定手的身份，则确定手的特征可以充分提取。另外，或者，如果所得到的特征允许手部追踪，则特征可以充分提取。如果所述网络提供的特征与低置信度值相关联，则所述流程图可继续进行320。

　　所述流程图继续到335，其中身份验证模块基于所述手的特征确定用户身份。验证模块可以引用用户特征存储器。用户特征存储可以基于手部特征引用用户身份，例如在325提取的手部特征。

　　另外，验证模块可以确定特定的手是否属于设备的用户，或者手是否属于环境中的另一个用户。因此，身份验证模块可以确定是应该追踪还是应该忽略这个识别的手。

　　如果在340确定了一个身份，则流程图继续345。在345，电子设备为所确定的身份执行预先指定的动作。换句话说，电子设备对识别的响应可以根据检测到的用户的身份而有所不同。例如，电子设备的应用程序或过程可以根据与所确定的身份相关联的用户偏好数据加载或执行。作为另一个示例，与用户配置文件相关联的数据可以通过电子设备进行访问，例如特定于用户的应用程序配置文件、属于用户的数据存储等等。

　　返回到340，如果确定身份尚未确定，则流程图在350结束，并生成通知以指示用户未配准。换句话说，电子设备可能会显示手或手无法识别的指示。可以提示用户，例如通过视觉或音频手段开始配准过程，诸如上述关于图2所述的配准过程。

　　在一个实施例中，如果未确定身份，则可以生成通知以指示对电子设备的未授权访问的尝试。

　　图4示出在所述环境中管理用户身份的技术的流程图。流程图从405开始，系统检测到环境中的一只手。可以通过电子设备的一个或多个传感器基于对物理环境视图的扫描来检测手的存在。扫描可以包括一个目标区域，并从所述区域收集感官数据。

　　在410，确定在环境中是否检测到未识别的手。身份验证模块可以尝试提取检测到的手的特征，以确定所提取的特征是否与例如在用户配置文件存储或配准存储中配准的特征匹配。最初，环境中的每只手都可以是一只未识别的手，因为身份验证模块会对环境中检测到的所有手执行识别过程。

　　这样，流程图400继续415，并为另一只手提取手的特征。应该理解的是，首先提取环境中检测到的第一只手的手特征，然后提取“下一只”手的手特征。它可以是除第一只手以外的任何手。

　　在420，基于在415提取的手部特征确定用户身份。身份验证模块可以将所提取的手部特征与配准特征进行比较，以识别与所述特征相关联的用户配置文件。

　　根据一个实施例，可以在提取的特征和配准的特征之间确定特征空间中的特征距离，并将其与阈值距离进行比较，以确定是否可以确定身份。

　　流程图继续425，在这里可以确定是否可以确定身份。如果在425确定了身份，则流程图将继续区440。在440，系统可以将用户配置文件或与用户配置文件相关的其他识别信息附加到当前环境中存在的活动用户列表中。

　　返回到块425，如果确定不能根据提取的手特征确定身份，则流程图继续435。在435，为手部特征创建新的用户记录。新的用户记录可以与匿名用户记录相关联，或可以与其他未知用户相关联。

　　然后，流程图可以继440，其中，新用户记录可以与用于未知用户身份的匿名、用于手的手区域、已识别的特征等一起追加到当前用户列表中。流程图返回到410，确定是否在环境中检测到任何其他未识别的手。

　　回到410，如果确定在环境中没有检测到更多身份不明的手，则流程图继续区45。在445，通过将相似的手连接到共同的身份来删除重复的身份。

　　流程图在450结束，其中左手和右手确定为公共身份。例如，对于每个包含两只手的身份，两只手将根据左手和右手特征识别和配准为左手和右手。例如，拇指相对于同一只手的手掌的位置可以表明这只手是左手还是右手。

　　在一个实施例中，可以修改当前用户的列表，以表明删除重复身份和每个用户的确定的左手和右手，以及手部区域等。在一个实施例中，管理当前用户的列表可允许系统追踪环境中个体的计数。

　　名为“Confirm gesture identity”的苹果专利申请最初在2023年3月提出，并在日前由美国专利商标局公布。