神经科学
首发于神经科学
脑机接口的研究进展到什么程度了?

脑机接口的研究进展到什么程度了?

Any sufficiently advanced technology is indistinguishable from magic.


------Sir Arthur Charles Clarke



从定义上说,脑机接口(Brain Machine Interface)就是研究如何用神经信号与外部机械直接交互的技术。就像开高达或者黑客帝国,属于传统意义上的黑科技。我从大学本科(07年)至今一直在这个领域。本文将从个人研究经历,领域现状(简略),以及一些常见或有趣的相关问题这三个方面简述一下脑机接口的研究进展。


第一部分:研究经历


1:浙江大学时期(07-11)。本科阶段我做的研究是在郑筱祥老师的求是高等研究院,当时是国内顶尖的脑机接口研究机构(之所以说“当时”,并不是表示现在不是顶级,只表示现在我不在国内,不够了解)。当时的研究方向主要有 a)大鼠压杆实验,脱胎于SUNY Downstate的John Chapin实验(Department of Physiology and Pharmacology),后来我到SUNY的时候他已经不招学生了,这是后话。这也是我本科阶段的研究内容,在解码器前面做了一个分类器,能显著提高解码精度。不过由于大鼠压杆实验本身太过简单(所要解码的信号只有压力值这个一维信号),不能很好的体现脑机接口的黑科技之处。b)大鼠携带背包电极,无线控制大鼠走迷宫。c)人脑EEG打字

2:卡耐基梅隆时期(12-14)。这个时期刚好是Pitts的 Andrew Schwartz搞大新闻的时候,四肢瘫痪病人通过植入式脑机接口控制机械手,也就是题图的出处(youtube.com/watch?Woman with Quadriplegia Feeds Herself Chocolate Using Mind Controlled Robot Arm,感谢评论的提醒)。我觉得这个实验很符合心想事成的定义。当时我的导师Steve Chase(很荣幸能成为他的学生)就是Schwartz的合作伙伴,不过因为自己是硕士的关系,所以并没有很参与到研究过程中,只是弄了一个Latent Extended Kalman Filter, 是用来处理运动过程中的隐变量,例如被试者的心情,动机或者是生理状态,它们影响神经活动,但跟我们想要的运动控制无关,我就改进了一个模型去滤它们,做了一点微小的贡献。(PS,匹兹堡真是个好地方,远远比纽约好)。

3:NYU&SUNY时期(14-我也不知道啊能早点儿毕业就好了)。大多数我参与的工作还是未完成的,所以虽然一颗赛艇,但并不能透露。之前有个Duke的学长搞的黑科技倒是很好玩。他测了大鼠在被扎手指时初级感觉皮层的兴奋情况,然后通过刺激上级脑区,使得大鼠的初级感觉皮层产生相应的兴奋。换言之,通过神经刺激让大鼠认为自己在被扎手指。如果写到这里能够让读者联想起黑客帝国,就说明我清楚地表达了他的研究。




第二部分:领域现状


首先这只是一个非常简略的介绍。以我的能力(simple)和学术地位(naive)是远远轮不到我来写review的(笑),我还需要学习好几个,以下是正文。


脑机接口主要分为植入式和非植入式两大类。区别在与植入式的更精确,植入式电极相比于头皮贴片而言精确度高的多,可以编码更复杂的命令(比如三维运动)。非植入式的更安全,所以接受程度高很多,如果面向健康人类开发产品,这可能是唯一选择。非植入式脑机接口中比较有意思的一项技术是用脑电信号打字。(ncbi.nlm.nih.gov/pubmed)没有市场化的原因很简单,13年的研究表明用脑电打字的平均速度是每个单词1.91分钟(没错,是分钟,我没有用错单位)。可能应用在中文上会好一些,毕竟汉字笔画相对于英文字母而言少很多。


植入式脑机接口中,各个脑区里研究比较多的有运动皮层,感觉皮层和视觉皮层。


运动皮层的研究结果相当多。植入式脑机接口在好几年前已经可以做到(以可接受的精确度)控制机械手的三维运动,手腕方向,手指握力。之所以进展很快的原因有很多,比较明显的是以下两点。第一,神经元对运动的编码相对简单,或者说,编码本身可能很复杂,但是我们可以用线性近似来获得足够好的结果,所以降低了研究员的智商阈值,毕竟不需要太高深的数学了嘛(笑)。更重要的一点是,运动有直接对应的可量化的输出(速度,位置等),所以我们能直接那这个输出与神经信号做对比,来确定二者的对应关系。反例是感觉皮层,我们只能研究神经元本身的发放变化,猴子本身是不会告诉我们它自己的感觉如何的,所以对应起来就很麻烦。所以通常情况下我们假设如果外部刺激一致,感觉就是一致的,这也是上文我的学长搞的黑科技时用到的假设。


视觉皮层的研究也很热门。但最广为人知应该是其相关产物(感谢评论的指正,副产物这个词确实不合适):卷积神经网络(Convolutional Neural Network,CNN),毕竟经过Alpha Go的大新闻,东亚地区对这个名词有很高的认知度。我不是该领域的专家,只是跟Tai sing Lee(Dr.. Tai Sing Lee's Homepage)上过一年的课,所以只是有模糊的认识。只能说一个让我印象深刻的个例。有一天Taising很兴奋地跟我们说他开会发现了一个大新闻,给我们看了一段视频,内容是医生用微弱电流直接刺激病人的视觉皮层(据Harold Yue提醒,是面部识别区)。没错,我们当时都惊诧了,没想到真的有人愿意这么干。


视频内容:医生一边调电流一边问病人:“你感觉怎么样,看到的东西有没有什么不一样了?”病人没有什么明显不适,很清楚的说:“感觉你有了一点变化,好像不是Dr.某某了,感觉领带歪了一点还是怎么样,说不上来,(以下是我感觉最科幻的部分),like The Terminator。”


至于困扰脑机接口研究小组的问题。由于是一个交叉学科,很多单一学科的进展都是令我们期待的,比如更精确的电极,更明晰的神经科学认识,更强大的机器学习算法,更生物友好的材料等等。其中一个跟科学不那么有关的在于:愿意参与植入性实验的human subjects(求问这个词应该怎么翻译才能不被人骂)太少。所以,假如生活欺骗了你,先别着急自我毁灭,请考虑一下献身科学的可能性(笑)。



第三部分:相关问题


Q:想以后涉及脑机接口,需要哪方面的知识?


A:既然本身是一个交叉学科,那么需要的能力也是来自于各个方面,学生的背景材料学,医学,生物学,计算机,电气工程,物理等等都有。比较明显的区分在于实验室中既有MD+Ph.D,还有我这种纯粹的Ph.D。


前者负责大部分动物实验以及各种我搞不定的部分,这部分要求的技能我并不清楚,很难给出有效建议;后者(我)负责数据处理模型设计等,这部分要求的核心内容就是:你的机器学习理论水平,以及把你的机器学习算法实现出来的能力。前者在本科阶段最好的锻炼方式之一就是参加数学建模竞赛(当然这跟我本人的经历有关,我上大学时浙大还没有机器学习这门课)。后者基本上就是coding的能力,建议如果是初学者,从matlab入手是一个很好的选择,但是胆子大了之后一定要去试一试其他语言,比如python。毕竟所谓脑机接口,“脑”的部分,即如何把神经冲动翻译成有价值的命令,多数是用matlab完成的,但是“机”的部分,即如何用这些命令控制机械,这里要用到的语言就五花八门了,没必要之前就一一掌握,但是要不害怕去学。多说一句,如果是在国内读的本科,很有可能因为国内工科一开始就要学C并且C的教材过于反智等原因,从而对整个coding产生反感。解决方式如前所述,请从matlab入手,并牢记《银河系漫游指南》封面上大而友善的四个字“不要恐慌”。


Q:脑机接口能不能提高智商?

A:有可能,但是只有少数文章证明,还不具备很强的说服力,在去年有一篇review中也提到这种提高在统计意义上不显著。所以现在的观点是:为了少量提高智商,而在头上开个洞埋上电极并不是那么有必要。还有一点是对于智商本身的检验方法也存在很多争论,现在能被少数文章证明的只是可以提高短时记忆力(因为这个最容易测量)。


Q:快来拿我做实验吧怎么样都行

A:请吃顿好的,然后私信联系。这是玩笑,实验的安全性是可以保证的,毕竟现在植入式的人类实验也已经开展了好几年,虽然多数是在瘫痪病人身上,控制的效果如前所述,用机械手完成简单的移动,抓握动作完全没有问题,但是太精细的的动作做不到,比如用机械手指剥香蕉撕包装袋之类的。并不是说我们不能解码复杂动作,而是这种动作本身对于只有视觉反馈的人而言太困难,可以想象一下如果人没有触觉,仅凭视觉去剥香蕉拧开饮料瓶是有多难。市场化的主要障碍主要是是机械手的价格过于贵,无法被医保覆盖。这是我导师的观点,毕竟实验室的机械手是从NASA批发的,五十万美元一个,对于普通病人确实过于贵(我还很荣幸的把它弄坏并重新修复过一次)。


Q:弄坏了50万美元的仪器是一种什么体验?

A:这个问题跟脑机接口本身的相关性比较弱,但也是研究过程中比较有意思的回忆。先说结论:感觉好棒好棒的,现在已经有信心去弄坏百万美元级别的仪器了。具体过程是这样的。某日,我正在用ROS(Robot Operating System)调式机械手。忽然砰地一声脆响,好像飞出了什么东西,机械手弯到了一个非常诡异的角度,停住不动。比较幸运的是当时猴子并没有在现场做实验,否则机械手的惨状可能会对大圣造成不可磨灭的心理阴影。我把机械手复位之后发现有半截钢缆(cable)松脱并暴露在外(没错,飞出的是另外半截钢缆)。



当时并没有恐慌的感觉,只是有点沮丧可能很久不能做实验了吧,应该要报修等厂家派人过来之类的。于是我就回到主实验室,找到我的同事兼好友Jack(一个身高180+阳光帅气执行力强大有男友的男生)吐槽:“机械手缆线断了好不爽,怎么报修啊,要跟Joe(我们导师)说一声吧。”


Jack:“告诉Joe干嘛,你修修不就得了。”

我内心活动:(我一个写算法的怎么就让我修仪器了呢?咱还是另请高明吧。)实际上故作淡定:“等会儿你说啥?”

Jack:“修修不就得了,需要帮忙吗?”

我:“当然,谢”


修了一个半下午,顺利搞定。

我:“我去,我们居然修好了。”

Jack:“yeah,want some beer?”

我:“Definitely。对了Jack,你本科啥专业来着?”

Jack:“Mechanical Engineering”


于是直到一切恢复原状,我们导师才知道这个机械手坏过一次。

Q:机械工程的也不敢随便修吧,老外这心也太大了,真的没问题吗?

A:这个问(吐)题(槽)跟脑机接口更无关了。发现很多人都对修仪器事件特别感兴趣,在考虑不如新开个文章写写实验室好玩的事儿之类的(笑)。回到问题上来,这的确是我来美国之后学到的很重要的一点:不要恐慌。世界上没什么事儿是一个Ph.D解决不了的,如果有,那就两个。毕竟所研究的东西是前沿,在出原创性的成果之前,肯定会遇到各种原创性的问题。记得之前看到过一句:“你才是你领域的专家,你老板只是当时的专家”有一定道理。在我明白并适应这个道理的过程中,Jack确实给了很大帮助,人家是MD+Ph.D,急诊专业,开膛破肚都随便修的,机械手算什么。

Q:让盲人看见世界的仪器有在研发吗?

A: 之所以没有把这个问题放在脑机接口的视觉皮层研究进展中,是因为二者的研究路径不一样。脑机接口是研究接收到一个视觉刺激后,大脑的反应规律是什么。如何根据大脑的反应规律重构该视觉刺激(visual reconstruction)等等。而解决本问题的方法则是Artificial Visual System(nidek-intl.com/visual_p)。原理就是把光转变为电信号直接刺激视网膜,进而产生视觉。比较重要的是患者需要已经有视觉这一概念,这种人工视觉才能比较顺利的产生。换言之,让盲人看见世界的仪器不知道研发的怎么样了。让盲人重新看见世界的仪器研发的很好。

Q:触觉还不能模拟吗?

只能模拟一部分,主要难度在于触觉本身很难量化。如果我们的目标只是模拟或者预测手指尖接收到某个压力所产生的神经冲动,这个已经能做到了。但触觉本身远远不止于此。举例而言,“软”这个概念。人类随便捏一下就能确定,但是反馈到机器则是:“贴片压力传感器的读数较低,且目标物体产生明显形变。”可以想象一下这个反馈难度,尤其是对计算机视觉的考验。




最后用一句当年我在《科学美国人》上看到的话来结尾:


“我们所想象的一切,都将变为现实。”

编辑于 2016-05-04

文章被以下专栏收录