AI机动队
首发于AI机动队
Attention机制详解(三)——Attention模型的应用

Attention机制详解(三)——Attention模型的应用

上两篇Attention机制详解(一)——Seq2Seq中的AttentionAttention机制详解(二)——Self-Attention与Transformer主要回顾了Attention与RNN结合在机器翻译中的原理以及self-attention模型,这一篇准备分类整理一下Attention模型的各种应用场景,主要参考资料为谷歌研究组和Yoshua Bengio组的论文。

自然语言处理

之前已经见过Attention模型对于机器翻译(Attention is All you need)有非常很好的效果,那么在自然语言处理方面Attention模型还有哪些其他应用呢?我们通过总结以下几篇论文来了解以下:

Universal Transformers

这篇文章主要是结合了Transformer结构与RNN中循环归纳的优点,使得Transformer结构能够适用更多自然语言理解的问题。其改进的结构如下

可以看到,通过引入Transition Function,我们对Attention可以进行多次循环。这一机制被有效的应用到诸如问答,根据主语推测谓语,根据上下填充缺失的单词,数字字符串运算处理,简易程序执行,机器翻译等场景。

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

这也是最近自然语言处理领域比较火的文章,打破了多项benchmark,主要是利用双向Transformer进行预处理,得到包含有上下文信息的表示,这一表示可进一步用来fine-tune很多种自然语言处理任务。下图是BERT模型(双向Tansformer结构)与OpenAI GPT(单向Transformer结构)与ElMo(双向独立LSTM最终组合的结构)的对比。

BERT的表示进行fine-tuning后,对于GLUE Benchmark(主要包含MNLI,RTE:比较两个句子的语义关系,QQP:判别Quora上两个问题相似度,QNLI:问答,SST-2:情感分析,CoLA:语句合理性判别,STS-B, MRPC:句子相似度判别),SQuAD(问答),NER(命名实体识别)等都有极大的提高。将来,可能BERT pre-train在自然语言处理领域就会像VGG, ResNet, Inception等在图像识别里的作用而成为预处理的标配。

Generating Wikipedia by Summarizing Long Sequences

文章生成:通过处理若干篇源文章,提取有效信息,再用Transformer Decoder合成一篇类似于Wikipedia风格的文章,这个模型以后加以改善可以极大的方便人们获取有效信息。

图像处理及合成

其实最早Attention模型是先在图像处理领域得到应用,后来拓展到自然语言处理领域,例如这一篇

Show, Attend and Tell: Neural Image Caption Generation with Visual Attention

就是利用Attention机制进行Image Caption(将图像翻译为文字表述)

Image Transformer

利用Attention机制进行图像合成,如将局部图像补全:

通过低分辨率的图像还原高分辨率图像

由于Image Transformer模型训练的稳定性,很有可能代替GAN成为图像生成任务的首选。

其他

这里再列出一些综合或其他方面的应用

One Model To Learn Them All

采用多适应性的模型架构希望一个模型可以处理多领域的问题。其模型结构如下所示

该论文中处理了语言文字、图像、声音和分类数据,虽然和state-of-the-art还不能相比,但也不失为一种泛机器学习的有意思的尝试。

Neural Attentive Session-based Recommendation

利用Attention模型处理用户session中的序列信息进行相关推荐,值得参考。

Generating Long-Term Structure in Songs and Stories

来自谷歌Magenta项目,利用Attention RNN创作乐曲,很有意思。


Attention模型由于其并行性,高效性及可解释性,逐渐会用在越来越多的有意思的应用场景中,值得期待。

编辑于 2018-10-26

文章被以下专栏收录