Meta深度分享：用力反馈手套为AR/VR元宇宙提供触感体验

　　从今年三月开始，Meta的Reality Labs Reasearch开始通过系列博文来探讨人机交互(HCI)的未来。在第一篇博文中，团队为增强现实眼镜构思了一个情景感知AI界面的十年愿景。它能够利用你选择共享的信息来提供主动帮助，支持你查找并与周围的人保持联系。在第二篇博文中，团队介绍了关于人机交互方面的进一步研究：将基于手腕的输入与可用但有限的人工智能相结合，从而动态地适应你和你的环境。

　　日前，团队撰写了本系列博文的最后一篇，介绍了其在触觉手套，柔性机器人技术、微流体技术、手部追踪、触觉渲染和感知科学方面的进展。下面是映维网的整理：

　　Reality Labs Reasearch有一支团队专门负责为增强现实和虚拟现实发明未来的交互。他们不仅仅只是在寻找前面数年的机会。基于其在高技术领域的专业知识，这群有志之士正在为我们10年到15年后的数字世界打造一个愿景。他们的工作是创造未来的技术，帮助我们实现与这数字世界进行无摩擦的交互。

　　团队的研究人员、工程师和设计师正在进行长期的研发工作，而从中诞生的技术不仅有可能从根本上改变增强现实和虚拟现实的进程，而且有可能影响医学和太空旅行等各个领域。

　　这是下一个人机交互时代的中心，这是一个大胆的研究项目，并旨在解决元宇宙的核心挑战之一：我们如何触及虚拟世界?

　　1. 通过触觉手套来触碰数字世界

　　想象一下，你正在与朋友的超逼真虚拟化身一起进行虚拟拼图。当你从桌面拿起一块虚拟拼图时，你能够感觉到它确实存在于自己的手中。当你拿着拼图进行判断时，你能够感觉到拼图边缘的锐利和表面的光滑。然后当你把它放在正确的位置时，你会感到满意的咔嗒声。

　　再想象一下，你正坐在一家咖啡馆里工作。一个虚拟的屏幕和键盘出现在你面前，其中虚拟键盘匹配双手的尺寸和面前的可用空间，并且可以根据你的喜好轻松个性化。你可以感觉到每次敲打键盘时的咔哒声，以及虚拟按键的边缘。你的文本键入就像如同操作完物理键盘一样简单。

　　这种体验将如何增强你与虚拟世界的联系呢?在元宇宙中，它们会对你的生产能力或执行任何行动的能力产生何种影响呢?

　　今天最接近这一点的体验是Quest的手部追踪功能。它可允许你在虚拟现实中看到双手的数字版本，然后利用它们来操纵虚拟对象。但是，你没有任何一点触感。如果没有触觉反馈，我们在虚拟世界中的操作就不能像在现实世界中那样灵巧。我们这项研究的目的正是要改变这种状况。

　　肖恩·凯勒(Sean Keller)是Reality Labs Reasearch的创始人和负责人，他在七年的时间里将其发展成拥有数百名世界级专家的团队。

　　这位研究实验室的总监解释道：“手在解决AR和VR交互方面的价值非常巨大。我们用手与他人交流，了解世界，并在其中采取行动。如果我们能将双手完整呈现在AR和VR之中，我们就可以像真实世界一样触摸、感觉和操纵虚拟对象，无需学习新的交互方式。”

　　凯勒的目标是发明柔软、轻巧的触觉手套，并解决AR/VR交互问题的两个方面：帮助计算机准确理解和反映佩戴者的手部动作，并为佩戴者再现一系列复杂、细微的感觉(例如压力、纹理和振动)，从而创造用手感觉虚拟对象的效果。

　　要想成功，这种手套需要时尚、舒适、经济、耐用，并且完全可定制。你可以将它们与VR头显配对，以获得身临其境的体验，比如在元宇宙中参加音乐会或畅玩扑克游戏。最终，它们同样可以与AR眼镜配对。

　　这种手套不仅仅是一个外设，它能够令虚拟世界变得有形。但真正的新型触觉手套需要在一系列的科学和工程学科中实现突破性的进展。

　　凯勒指出：“我们几乎是从零开始创造这门学科的一切。我们正在学习人类是如何感知触觉，以及他们是如何完成任务。我们正在研究如何适配人手的各种形状和大小，同时保持与用户的机械耦合。我们正在探索柔性机器人和仪器追踪系统的极限。我们正在研究和采用与过去完全不同的全新柔性材料和制造技术。”

　　面对这一巨大的挑战，凯勒和团队首先提出的问题是：如何创造出可信的触觉。

　　为了提供真实的触觉，触觉手套需要安装数百个执行器(微型电机)，并以协调一致的方式移动，从而为佩戴者提供仿佛自己正在触摸一个虚拟对象的感觉。但现有的机械执行器产生了太多的热量，所以不适合全天候穿戴。它们同时太大、僵硬、昂贵、耗电，无法呈现真实的触觉。

　　开始工作两年后，团队遇到了传统电气、金属部件方面的限制。他们假设通过柔软、柔韧的执行器来代替机械执行器，而且这种执行器由全新的材料制成，可以根据佩戴者的动作改变形状。

　　但是，这种执行器在当时根本不存在。

　　Reality Labs Reasearch硬件工程总监特里斯坦·特鲁特纳(Tristan Trutna)解释道：“你绝对不能够在手上安装1000个微型电机和电线。即使你拥有无限的资源，你都无法做到。从物理的角度来看，这并不合适。质量太大，热量太大。如果你需要在不同距离的不同位置施加数千个有形的力，你要么只能是通过气动、液压或高密度电动执行器。”

　　团队转向了柔性机器人和微流体技术等常用于假肢和PoC诊断设备的新兴领域。

　　在过去的两年中，他们在气动执行器和电活性执行器两方面都取得了重大突破。作为说明，气动执行器利用气压来产生力，而电活性执行器则在电场作用下改变形状或尺寸。

　　为了控制这种新的柔性执行器，团队正在构建世界第一个高速微流控处理器：位于手套的一个微型微流控芯片，它能够告诉阀门何时打开和关闭，从而控制移动执行器的气流。

　　研究科学家安德鲁·斯坦利(Andrew Stanley)指出：“我们与更广泛的微流体领域的不同点在于，我们强调足够轻、快速和可穿戴。对于触觉交互，当虚拟现实或增强现实发生事件时，执行器需要非常快地对指尖加压。大多数微流体过程发生在秒级，而我们则是毫秒级。我们可以实现更快的响应时间。通过我们的流体逻辑电路，我们能够通过减少控制大量执行器所需的机电阀数量来消除系统中的重型机电部件。”

　　2. 触觉渲染：构建虚拟环境的精确图片

　　但即使有了控制气流的方法，系统都需要知道何时何地传递正确的感觉。这就需要先进的手部追踪技术，以便计算机能够准确地知道手在虚拟场景中的位置，你是否与虚拟对象接触，以及手如何与对象交互。

　　它同时需要一种能够根据人手位置和对虚拟环境的理解(包括虚拟对象的纹理、重量和刚度)，在合适时间向执行器发送正确指令的新型渲染软件。

　　Reality Labs Reasearch软件工程师弗雷斯特·史密斯(Forrest Smith)表示：“人们通常认为‘渲染’是视觉效果，但我们使用‘渲染’一词来表示触觉。我们正在做的是获取这个虚拟世界的状态，以及你与它的交互，然后将其渲染到执行器，以便你能感受到相应的感觉。”

　　工程师贾斯汀·克拉克(Justin Clark)则进一步指出：“为了呈现与对象的实时交互，我们需要模拟相应的物理现象。”。

　　物理引擎确定手在与虚拟对象交互时应经历的力的方向、大小和位置。然后，触觉渲染算法将所述信息与触觉设备的特征(例如其各个执行器的位置和属性)结合起来，以便向设备发送正确的指令。

　　软件工程师安德鲁·多克森(Andrew Doxon)补充道：“其中一个挑战是构建能够与不同类型执行器协同工作，并支持广泛触觉体验的软件。最终，我们还需要允许人们能够以创建视觉或音频内容的方式来创建触觉内容的开发工具。”

　　3. 结合听觉、视觉和触觉反馈

　　当团队继续工作到第四年时，面前出现了第三个挑战：要令纹理和感觉起效，必须以模仿现实的方式模拟触摸物理，但又不能完全再现真实世界的物理。

　　尽管触觉手套可以提供有价值的反馈，但它们不能完全阻止你在尝试抓住虚拟对象时闭合手指，或阻止人手穿过虚拟桌子(穿模)。

　　于是，研究人员转向感知科学和多感官集成：一项关于人类感官是如何协同工作以建立我们对世界理解的研究。

　　用户体验研究科学经理索菲·金(Sophie Kim)解释了团队是如何利用人类的感知能力来创造令人信服的感觉。她说道：“我们的大脑非常擅长于接收一点触觉信号、一点视觉信号、一点听觉信号，然后就能将它们融合在一起并允许你获得一种感觉，并确信自己手中确实是有一个物体。”

　　为了帮助我们理解在AR/VR中实现感官统合的感觉，感知研究科学家婕西·哈契·奥布莱恩(Jess Hartcher-O’Brien)以操纵立方体为例进行了解释：“如果我拿起一个立方体，我已经对它的材料类型和可能的重量有了假设。我拿着它，我验证了材料，所以我结合了关于其材料特性的视觉线索和来自第一次接触瞬间的触觉反馈。当我去操纵物体时，我的大脑会识别摩擦力和惯性，并能计算出物体的密度或重量。根据对我手臂运动的观察，我的视觉系统正在进行更新。然后，本体感告诉我手臂在空间中的位置、移动的速度以及我的肌肉正在做什么。”

　　触觉手套甚至可以允许佩戴者的感知系统相信它正在感受物体的重量，方法是用执行器轻轻地拉动佩戴者手指的皮肤，以模拟对手持对象的引力。但这一切都必须安排得恰到好处。

　　在2017年末的一个实验中(如视频所示)，一系列由不同材料制成的虚拟球体(木材、大理石、泡沫)从天而降，而团队使用指尖上的一个振动旋转装置来提供触觉反馈。当球落在被试的虚拟手指尖上时，每个球都会提供独特的视觉、听觉和触觉反馈线索。

　　凯勒指出：“所有的时间安排和设计都正好契合这种视听触觉体验。你会感觉到那是一块泡沫、木头或大理石。你可以感受到材料在落下时接触手指的感觉。当我体验到这一点时，那种感觉真是棒极了。”

　　4. 智能纺织品：舒适度与定制性相结合

　　随着项目的成熟，团队开始解决手套的舒适性，以及将传感器和机器执行器集成到手套材料中的挑战。显然，一只僵硬、笨重或不舒适的手套，又或者是一只容易脱落的手套会立即打破佩戴者的任临场感。为了避免这种情况，手套需要轻便、柔软、耐用。

　　工艺工程师凯瑟琳·希利(Katherine Healy)解释说：“我们意识到我们需要将新技术小型化，并将其设计成多功能系统。这样做可以让我们在更少的空间内适应更多的环境，做更多的事情。这对于实现舒适的形状参数至关重要。”

　　材料小组开始发明新的廉价聚合物，如塑料和硅树脂等柔性材料。它们舒适、可拉伸，但在分子水平上能够进行定制，以产生新的功能。这就需要全新的制造技术来将所述新材料转变成真正精细的纤维，然后再将其缝合和编织成手套。

　　研究科学家经理克莉丝蒂·乔斯特(Kristy Jost)补充道：“但是，单靠电导纱线并无法带来我们在虚拟现实中交互所需的全部功能，所以我们正在探索如何在同一纤维或织物中构建多种功能，包括导电、电容和传感功能，并实现更纤细、更耐磨的形状。”

　　打造一个纤细、轻盈的触觉手套是一个挑战，定制这种手套以适应数十亿人又是另一回事。

　　所以，材料小组同时在探索允许每只手套都能实现定制，以获得最大触觉精度和舒适度的制造技术。这样做意味着开发设计和制造微型驱动器的新方法，并创造新的编织和刺绣工艺，从而将它们精确地嵌入手套中。

　　希利指出：“如今，手套是由熟练的工程师和技术人员单独制造。他们制造子系统，并通过手工组装手套。我们尽可能使用半自动化工艺，但大规模生产这种手套需要发明新的制造工艺。”

　　5. 创造未来：Reality Labs才刚刚起步

　　在虚拟现实和增强现实中提供可信触觉体验所需的一些技术尚不存在，但Reality Labs Research正不断推动最新技术的发展，创造新的突破，从而令触觉手套变成现实。

　　研究科学家经理尼古拉斯·科隆尼斯(Nicholas Colonnese)表示：“我相信触觉在AR/VR和元宇宙的人机交互革命中将是至关重要的拼图。未来，我们可能会在虚拟现实中渲染用于与虚拟按钮交互的‘触觉点击’，或在AR中为你选择的运动提供实时训练指导，或在元宇宙中与朋友打招呼时共享自定义‘触觉表情握手’。”

　　Reality Labs Research的触觉手套项目在一开始像是一次登月计划，但随着团队成功创新并实现跨越数十个学科的研究飞跃，它的可行性越来越高。

　　凯勒表示：“当我们开始触觉手套项目时，我们问自己是否可以开发一种能够大规模生产且价格合理的消费设备，并且帮助人们在任何地方都能体验到任何有形的界面。我们当时无法做到这一点，所以我们必须发明新的材料、新的传感器和执行器、新的集成和系统方法、新的渲染算法、新的物理引擎。这在当时是不可能完成的任务，但我们已经创造了一条可以帮助我们达到这一目标的可行道路。”

　　在过去的七年中，凯勒和团队勇敢地面对未知，并开创了新技术、新技术和新学科。但是，他们才刚刚开始。

　　特鲁特纳指出：“这项研究的可能性是巨大的。尽管我们专注于制造触觉手套，但我们在流体切换和控制方面取得的突破，更不用说柔性机器人技术，它们可能会在lab-on-chip诊断、微流控生物化学、甚至可穿戴和辅助设备方面为医疗行业带来根本性的进步。”

　　凯勒补充道：“Reality Labs Research是创新的锻造厂。这是成为一名应用研究人员的最佳场所之一，因为你有一个反馈回路，你有一种方法来评估你正在发现、学习和构建的事物的影响。最终，你会看到你所创造的一切实际上是如何影响人们和人们的生活。这是一项非常有回报的工作，而你在Reality Labs这样的地方将能够看到最后。”