当他们想象自己打字时,植入体会将大脑信号转换成标准数字键盘上的按键操作。
我们很难想象除了我们最熟悉的键盘布局之外的其他键盘布局。从笔记本电脑到智能手机,键盘已成为我们数字生活中不可或缺的一部分。
麻省总医院的科学家们已经帮助两名瘫痪患者恢复了仅凭意念就能通过键盘进行交流的能力。
两人脑部都已植入芯片,可以记录他们大脑的电信号活动。这套新系统能够实时转换两人想象手指动作时的脑电信号,并准确预测他们想要输入的字符。
该系统仅训练了30句话就学会了将大脑活动转化为实际的肢体动作。打字速度达到每分钟22个单词,错误率极低,几乎与身体健全的智能手机用户的速度相当。
研究团队写道:“据我们所知,该系统提供了迄今为止报道的基于手部运动皮层解码的最快……[脑植入]通信方法。”
这些参与者是BrainGate2临床试验的一部分,这是一项开创性的研究,旨在通过解码神经信号来帮助四肢和躯干完全丧失功能的人们恢复沟通和运动能力。其中一位参与者之前曾使用植入物将自己的内心想法翻译成文字,但效果参差不齐。
操控数字键盘更加直观易用,也更容易上手。一旦学会使用这套系统,用户无需注视键盘,即可解放双眼,实现心算输入。此外,用户还能完全掌控何时分享自己的想法,避免私密思绪意外泄露到屏幕上或通过人工智能语音广播出去。
全员就位
在我们说话之前,大脑的某些部分会发出嗡嗡的电信号。过去十年间,脑植入物——一种能够监听和解码信号的微电极——已经将这些看似混乱的嗡嗡声转化为文字或语音,使瘫痪患者重新获得了沟通能力。
方法多种多样。有些硬件是薄如蝉翼的圆盘状装置,放置在大脑表面,收集来自大片区域的信号;另一些装置则植入大脑内部,进行更有针对性的记录。
这些系统改变了人们的生活。 最近的一个例子是,一种植入式设备能够将控制肌萎缩侧索硬化症(ALS)患者声带肌肉的神经活动转化为语言。该系统仅需一秒的延迟,就能生成带有语调的连贯句子,使他能够用人工声音唱歌。 另一个设备几乎零延迟地将一位瘫痪女性的思维转化为语言,让她能够流畅地进行对话,不再出现令人沮丧的停顿。此外,人们也受益于一种利用手写背后的神经信号进行脑电波文字通信的方法。
脑植入技术不再是纯粹的实验性技术:中国最近批准了一种可以让瘫痪患者控制机械手的装置。这是首个在临床试验之外上市的此类设备。
眼动追踪或许是目前应用最广泛的临床解决方案。在这种方案中,患者需要移动眼球,逐个聚焦于定制的数字键盘上的字母。但这种方法速度极其缓慢,而且容易出错。长时间盯着屏幕也会使眼睛疲劳,导致长时间的对话变得困难。
“对于许多用户来说,这些系统耗时太长,”该研究的作者丹尼尔·鲁宾在一份新闻稿中表示,导致他们放弃了这项技术。
轻敲屏幕
对于已经会打字的人来说,标准的键盘布局——也就是QWERTY布局——感觉既熟悉又舒适。手指伸展即可敲击上排字母,直接向下敲击中间字母,弯曲成爪状即可敲击下排字母和标点符号。
当手指在键盘上灵巧地敲击时,大脑运动皮层中控制手指运动的部分会活跃起来,精准地引导每一次落键。与定制键盘相比,使用熟悉的键盘进行心算打字可能会感觉更直观、更轻松。
两名四肢瘫痪患者尝试了这种方法。参与者T17在30岁时被诊断出患有肌萎缩侧索硬化症(ALS),这是一种会缓慢破坏运动神经元、导致肌肉无力并最终损害呼吸的疾病。三年后,当他参与这项研究时,他已经失去了对声带肌肉的控制,需要依靠呼吸机维持生命。他只能移动眼球,但思维仍然敏捷。第二位参与者T18在参与研究前18个月因脊髓损伤而瘫痪。两人都在大脑的不同区域植入了多个植入物。这些植入物通过电缆连接到计算机系统,将记录的数据实时传输到计算机进行处理。
参与者使用简化的QWERTY数字键盘,该键盘包含全部26个字母、一个空格键和三种标点符号——问号、逗号和句号。为了训练系统,志愿者们想象自己伸展、敲击或弯曲手指来输入文本提示,同时植入的芯片会捕捉并分离出每个手指的神经信号。训练完成后,深度学习模型会预测预期的字符,而语言模型则会不断尝试自动补全句子。
练习了30个句子后,两位参与者都能复制屏幕上的文字或输入任何他们想输入的内容。当被问及“你工作中最好的部分是什么”时,T18 俏皮地回答说:“我工作中最好的部分就是一天结束的时候。”与此同时,T17 是《塞尔达传说》系列游戏的粉丝,他告诉研究人员:“你们应该试试 《时空之章》和《大地之章》……还有《天空之剑》 ……这些游戏的音乐很棒。”
他们的打字速度打破了纪录。研究团队写道,T18 每分钟能打出 110 个字符,约合 22 个单词,比之前基于手写的最先进方法快了 20 个字符。这个速度几乎与同龄的健康智能手机用户相当。打字错误率一直很低,经过练习后几乎达到了完美。
T17 患有肌萎缩侧索硬化症(ALS)导致的不完全性闭锁综合征,他每分钟只能输入 47 个字符,错误率较高。与之前那些限制字数的系统不同,他能够充分运用自己的词汇量,而且交流速度也快得多。
性能差异可能源于植入位置的不同。T18 的微阵列位于大脑两侧,部分覆盖了控制四肢的区域。T17 的植入物仅位于大脑左半球,对手指运动区域的覆盖较少。
目前,团队正在对系统进行调整,使其能够更长时间地用于个人用户。随着病情发展,大脑信号与键盘字符之间的关联可能会发生偏移,从而导致更多错误。但更新算法非常简单。系统只需学习几个句子即可,因此用户可以每天早上进行一些脑内打字练习,以保持操作的精准性。
数字键盘的更新,例如添加数字键或回车键和删除键,正在进行中。暂时禁用语言模型还可以让参与者输入复杂的乱码密码、网络俚语(例如 ikr、btw、lol)和其他非标准词汇,而无需担心被自动纠错。
该研究的作者贾斯汀·朱德表示,脑植入物“很好地体现了现代神经科学和人工智能技术如何结合起来,创造出能够帮助瘫痪患者恢复沟通和独立能力的产品”。
这篇题为“脑植入物让瘫痪患者打字速度几乎与智能手机用户一样快”的文章最初发表在SingularityHub上。