这款可穿戴设备将细微的肌肉运动转化为捏、划和书写。
在赛博朋克经典电影《少数派报告》的一个标志性场景中,主角戴上特制的手套,使用各种手势在墙壁大小的屏幕上显示和操作不同的标签——无需实际接触。
如今,电影中的科幻科技即将走进现实世界。本周,Meta发布了一款腕带,它能利用手腕上的电信号解码手指动作。这些动作对于任何拥有智能手机的人来说都很熟悉:捏、滑动、点击,甚至书写。
机载计算机将这些信号转换成笔记本电脑屏幕上的指令。无需训练或校准,用户即可完成一系列测试,例如将光标移动到目标、玩类似吃豆人的游戏,以及用食指在桌面上书写单词和短语——例如“hello world”。
Meta长期以来一直在宣传一款能够读取肌肉信息的腕带,其早期版本可以翻译电脑点击指令。新设备功能更强大。该腕带由神经网络驱动,并基于来自 6000 多名志愿者的数据进行训练,在某些测试中准确率高达 90%。平均而言,参与者每分钟可以书写大约 21 个单词,并且随着他们对该设备的熟悉程度不断提高,准确率也会不断提高。
研究团队在描述该项工作的论文中写道:“据我们所知,这是神经运动接口所达到的跨参与者表现的最高水平。”
这款原型腕带是“现成的”,有多种尺寸可供选择,使其成为一款更适合消费者的产品。该团队希望将其集成到 Meta 的 AR 和 VR 设备中。该设备还可以成为一种经济实惠的方式,帮助手部瘫痪、脊髓损伤或其他运动障碍患者重新融入数字世界。
控制器的演变
随着计算机的进步,我们与计算机连接的方式也在不断进步。
早期的电脑是用机械旋钮控制的。后来,键盘应运而生。键盘发明于19世纪末,至今仍是电脑的必需品。近来,触摸屏彻底改变了电脑——年轻一代甚至本能地在纸质杂志上滑动屏幕。
如今,我们甚至不需要用手。
人工智能和语音识别技术的进步使得用语音对着手机说话而不是打字成为可能。但 Meta 认为仍有改进空间。语音指令在嘈杂的环境中可能会被淹没,而且在公共场合使用可能不实用(甚至令人厌烦)。
Mea 并非依靠触觉或语音,而是利用我们身体的电信号。每当我们滑动、滚动或捏合时,我们的神经都会向手腕和手指的肌肉发送电信号,并指令它们以高度精确且特定的方式运动。通过监听这些信号,我们有可能解读大脑发出的运动指令。
表面肌电图 (sEMG) 使用皮肤上的电极来捕捉和放大电信号。该技术已应用于假肢和中风康复。与植入式设备相比,sEMG 侵入性更小、更灵活,但精确度也更低。大多数 sEMG 装置需要针对每位佩戴者进行仔细微调,如果转移到另一个人身上,也需要重新校准,这使得该技术难以推广到普通消费者群体。
尽管如此,Meta 还是看到了这项技术的潜力。
团队致力于设计一款界面直观、易用且不会干扰日常生活的可穿戴设备。该设备还需支持多种用途——切换应用、重新排列标签页或编辑文档——并且佩戴舒适,足以满足全天佩戴的需求。
他们最终选择了腕带。人们已经佩戴手表和手环,因此腕带设备可能更容易普及,也更容易被社会接受。至关重要的是,从手腕捕捉到的信号可以用来解码手指动作,从而实现各种各样的手势控制。
数量的力量
该设备包含几个松散连接的电极块和一个类似小型iPod的处理器。这些间隙可以灵活地将电极朝向腕部肌肉(而不是位于骨骼上方),也使得设备更容易佩戴和取下。处理器实时处理数据,并通过蓝牙将解码后的命令发送到计算机。
为了确保任何人都可以使用该腕带,该团队根据从数千人执行多项任务(将光标滑动到目标、执行各种手指手势以及在坚硬表面上书写)收集的数据来训练其板载神经网络。
随后,团队邀请新的志愿者测试该设备执行同样的三项任务。随着经验的积累,每个人的表现都有所提高,尤其是在导师的指导下——例如“加快滑动速度”或“更连续地书写”。最终,参与者追踪物体的时间大约是使用 MacBook 触控板的两倍,书写速度大约为每分钟 21 个字——比智能手机键盘平均每分钟 36 个字的速度要慢。
速度听起来并不令人印象深刻,但与其他两个非常熟悉的“日常驾驶”相比,参与者使用腕带的时间要少得多。更多的实验发现,个性化可以提高表现。
作者写道:“虽然通用模型允许在很少甚至没有设置的情况下使用神经运动接口,但可以通过根据参与者的数据对通用模型进行个性化来提高特定个体的性能。”
只需在通用模型中添加 20 分钟的个性化数据,就能平均提升 16% 的性能。要达到类似的提升,则需要添加多达 14,000 分钟的通用数据。对性能相对较差的志愿者来说,定制模型尤其有用。虽然该设备本身并非现成的,但其未来几代产品可能会整合个性化数据,并随着时间的推移“学习”一个人复杂的运动技能。
sEMG 方法开辟了其他交互可能性,例如检测手势的力度并将其与特定功能关联。解码上下运动(而非仅限于水平运动)可以进一步拓展设备的实用性。添加嗡嗡声和其他触觉反馈功能,可以让腕带感觉像用户身体的延伸,从而提升控制智能手机、笔记本电脑或AR/VR 眼镜时的沉浸感。
Meta 在博客中写道:“随着时间的推移,sEMG 可能会彻底改变我们与设备的交互方式,帮助行动障碍人士获得更高的独立性,同时提高他们的生活质量,并为 HCI(人机界面)开启我们从未梦想过的新可能性。”
Meta 的智能腕带可以控制像《少数派报告》中的汤姆·克鲁斯那样的设备,该帖子最先出现在SingularityHub上。