眼睛与语言学

眼睛与语言学

这一篇文章我们来说一说眼睛和语言学之间的关系。

我们通过我们的感官来了解这个世界,视觉带给了我们许多对这个世界的认知,不光是我们直接看到的景象,也包括我们在阅读中学到的知识。我们在阅读不同的句子时,目光的不同移动,就可以让语言学家们了解到我们理解句子的方式,而想要完成这一观察,语言学家们需要做的就是仔细跟踪人的目光移动(eye tracking)。

那么如何能够完成这样的跟踪呢?这个过程听起来很容易,但是语言学家们需要确保他们所观察到的移动是来自于眼球本身的,而不是来自头部的。最早期的方法,是让观察的对象用嘴咬住一个铁块来固定头部(如图所示),然后来观察眼球的移动。

截图来自视频what can our eyes tell us about language?eye tracking

但是现在的科技已经有了更令人舒适的方式帮助语言学家们追踪观察对象的眼球移动了,语言学家们会将摄像机固定在头部,然后直接对着眼球进行拍摄。除了这种方式,在Clara Cohen的实验中,他将一种无害且隐形的光照入观察对象的眼睛,然后再通过特殊算法计算光的反射,从而得到观察对象眼球的移动。

clara cohen实验室中eye tracking画面

在阅读时,我们自以为我们的眼睛是在平滑连续的从左向右扫视的,其实并不是这样的,我们的眼睛是在不停的进行短而快的眼跳,这种运动被称为saccade。举个例子来说明,如果我们向右看,然后快速的在头不移动的情况下把目光移向左边,我们并不会注意到我们在两个点之间所看到的东西。阅读时,我们的目光不断的从一个词或几个词身上向后面的词运动,我们并不会意识到这些词语词之间的内容。在英语中,通常我们每一次阅读的字母数量在7-8个左右,这些字母既可以出现在一个词中,比如hello,也可以是两个词的组合,比如my cat。

saccade

我们在阅读的过程中,眼神会不停的徘徊和跳动,而这样的动作越多,语言学家们认为就可以证明句子的难度更高。一个实验的例子是,当我们在阅读含有代词的句子时,我们的眼神移动就可以说明句子的不同。比如第一个句子可能是这样的:Pearl said yesterday that she would help out with sword practice. 我们会看到she这个代词,但是我们可以很轻松的明白这里的代词指代的就是前面的Pearl。但是在第二个句子中:Japer still thought she could escape the from the ocean,当我们看到代词she时,我们一定会去寻找她的指代,我们可能会去看句子的主语jasper,然后再回到代词去思考she所指的是不是jasper,这些犹豫和思考都会是我们的眼睛不断移动并被记录下来。在这种情况下,语言学家们就会认为第一个句子比第二个句子更容易被人理解分析。

阅读时眼睛的移动记录

另外我们还可以通过追踪眼睛的动作来判断人类理解句子的方式和速度。比如说我们让屏幕上出现四张不同的图片,左上角是一只青蛙(a frog),左下角是一个餐巾(a napkin),右下角是一只青蛙坐在餐巾上(a frog on the napkin),而右上角是一个盒子(a box),然后说不同句子来跟踪观察对象的目光移动。同一个句子,也会有不同的理解:Put the frog on the napkin into the box(把餐巾上的青蛙放到盒子里)。如果我们的目光从右下角餐巾上的青蛙开始,那么,非常简单,我们下一步只需要看到右上角的盒子就结束了。但是如果我们的是从左上角的青蛙开始的,那么我们的下一步就是看向左下角的餐巾,将青蛙放到餐巾上,然后再一次进行到后两张图片。第一种情况发生在听到put the frog on the napkin之后才行动的观察者身上,但是第二类观察者在还没有听到全部信息前就开始了眼睛的移动,所以就出现了两种不同的结果。

第二个实验是clara cohen进行的,他的实验主要是检测人们对名词复数和单数的反应。他的四张图片分别是一只海豹(a seal),一个面包,一只兔子和一群海豹,然后观察者们会听到这样一个句子:the man looked at the seals。根据观察者从听到句子到看向一群海豹的图片的时间长短中,cohen可以判断观察者们理解这个句子所花的时间。这个反应时间可以被仪器中的光准确记录,但是在这些科技出现之前,我们判断人们理解句子速度的方式是非常不精确的。比如语言学家们会向观察者提出这样的问题:这句话的最后一个名词是单数还是复数,或是提出一些问题让观察者们按键回答yes还是no,通过这些反应时间的长短来判断句子的难易程度,但是这样的方式并不精确。

以上的实验都是针对成人,那么对于那些对语言并不熟悉的孩子来说,这些实验的结果就可以使语言学家们逐渐明白我们理解句子的方式和我们听到句子后的反应方式。

那么这些实验结果能够有什么实际应用呢?在了解了阅读时我们理解句子的方式后,患有失读症(dyslexia)的病人可以得到更多的帮助。另外,语音识别系统,比如siri,的语言识别能力也可以得到提高。当然,语言的教学方式也会变得越来越高效,越来越有助于学习者的理解。


这一篇文章的内容就是这样,很久没有更新了,感谢阅读。

发布于 2018-02-07 21:50

文章被以下专栏收录