“意念手写”登Nature封面!码字不用手,准确率99%

智东西(公众号:zhidxcom)
编译 | 李水青 韦世玮
编辑 | 心缘

脑机接口(BCI)技术新进展又一次登上国际顶级期刊Nature的封面!

智东西5月13日消息,美国斯坦福大学研究人员首次破译了与手写书信相关的大脑活动,并结合人工智能(AI)算法,实现“意念”写字。

这使得瘫痪患者只需脑补“手写文字”,他所想的文本就会实时显示在屏幕上。

“意念手写”登Nature封面!码字不用手,准确率99%

在这项研究中,患者每分钟可键入90个字符,接近同龄正常人使用智能手机时每分钟115个字符的速度——是以前用这类脑机接口(BCI)研究打字记录的2倍多,准确率更是高达99%以上。

这项堪称脑机接口新里程碑的研究,登上了全球首屈一指的科学期刊Nature最新一期的封面。论文题目为《通过手写进行高性能的脑对文本交流(High-performance brain-to-text communication via handwriting)》。

“意念手写”登Nature封面!码字不用手,准确率99%

美国斯坦福大学霍华德·休斯医学研究所(HHMI)的研究员Krishna Shenoy是这项研究的合著者,与斯坦福大学神经外科医生Jaimie Henderson共同推进这项工作。

Shenoy认为,随着技术的进一步发展,这项创新可能使瘫痪的人无需用手就能快速打字

一、聚焦手写表达方式,解码大脑神经活动信号

当受伤或疾病剥夺了一个人的移动能力时,走路、喝杯咖啡或者说一句话的大脑神经活动仍然存在。

研究人员可以利用这项活动,来帮助瘫痪患者或截肢患者恢复失去的能力。不过,具体的需求也因残疾的性质而异。

有些失去双手的人依然可以用语音识别软件,而对于无法发声的人,科学家们正开发其他方法来帮助他们与人交流

这一次,斯坦福研究人员将目光聚焦于经典的自我表达方式——手写

近年来,本论文作者Shenoy的研究团队解码了与语音相关的神经活动,希望再现语音。比如他们曾在另一项研究中涉及一种方法,让植入传感器的患者“意念”移动计算机屏幕上的光标,选择虚拟键盘上的字幕进行打字。通过这样的方法,患者每分钟可输入大约40个字符,这是以前使用脑机接口打字的速度记录。

但问题是,直接脑补人的“笔迹”是否可行?

Shenoy团队中的一位神经学家Frank Willett想知道,能不能利用用笔在纸上写字时引发的大脑信号,来找到让人们交流更快的新方法。

“意念手写”登Nature封面!码字不用手,准确率99%

二、区分不同字母活动信号,65岁瘫痪者也可正常打字

当下,该临床试验试验正在测试脑机接口的安全性,脑机接口能将信息直接从参与者的大脑发送到计算机。

该实验负责人是布朗大学麻省总医院和普罗维登斯医学中心的神经科医生和神经科学家Leigh Hochberg,他将两个微小的传感器植入瘫痪者大脑控制手和手臂的部分,从而让瘫痪者实现一些行动。例如,让瘫痪者尝试移动已瘫痪的手臂,从而在屏幕上完成移动机械臂或者光标的效果。

“意念手写”登Nature封面!码字不用手,准确率99%

▲算法可追踪对象假想中笔的运行路径

这一患者在参与研究时年仅65岁,患有脊髓损伤,脖子以下瘫痪。当他想象在写作时,团队能利用传感器从单个神经元中拾取信号,再通过机器学习算法识别出他的大脑随每个字母产生的模式。借助该系统,他在智能手机上打字和进行语句表达的速度与同龄人相似。

Shenoy团队的Willett说,这种“Brain-to-Text(大脑至文本)” 的脑机接口之所以如此快,是因为每个字母都会引发高度不同的活动模式,从而使算法相对容易地将一个字母与另一个字母区分开。

而植入进患者脑中的两个微型传感器也正是来自美国科技公司BrainGate的电极阵列,每个都含有96个电极。就在今年4月,BrainGate研究人员成功地创造了一个无线脑机接口(BCI),用户脑袋上夹两个无线发射机,就能隔空在屏幕上打字、浏览网站。不过,该研究追踪试验者意念移动光标进行打字,每分钟仅能输入13.4个正确字符。

“意念手写”登Nature封面!码字不用手,准确率99%

三、新系统将增加意念导航等功能

除了脑机接口输入文本的功能模式,Shenoy的团队还想建立一个更全面的系统

该系统包括点击导航,类似于当前智能手​​机上使用的导航,甚至尝试通过意念说话进行导航搜索。他说:“拥有这两种或三种模式,并在它们之间切换,在我们认为是自然而然的发展方向。”

Shenoy称,接下来团队还打算与语言障碍患者合作,例如患有肌萎缩性侧索硬化症的人,这是一种退化性神经系统疾病,会导致行动和言语丧失。

Henderson补充说,新系统可能会帮助那些因多种疾病而瘫痪的人。其中就包括近年来越来越常见的脑中风,这一疾病就使《潜水钟与蝴蝶(The Diving Bell and the Butterfly)》一书的作者Jean-Dominique Bauby感到痛苦。

“他能够通过一次眼神的动作,一次又一次地精心挑选人物来写这本动人而每秒的作品。”Henderson说。当然,这一技术造福的将不仅仅是研发人员喜欢的作者,而将是千千万万丧失行动和语言能力的残疾人。

结语:脑机接口技术再上新阶梯

脑机接口技术能实现意念操控已不是什么新鲜事,但本次我们看到,人工神经网络可以让瘫痪者想象自己书写,从而将意念转化为真实的文本,90字符/分的速度也令人兴奋,这是使用头部或眼睛跟踪系统进行输入记录的两倍多!

随着这一技术的研发落地,将为瘫痪患者带来巨大便利,不仅能实现和常人一样速度的书写表达,未来也将实现意念讲话操控等实现更高效交流。

来源:Nature、HHMI