%0 Journal Article %A 朱张莉 %A 饶元 %A 吴渊 %A 祁江楠 %A 张钰 %T 注意力机制在深度学习中的研究进展 %D 2019 %R %J 中文信息学报 %P 1-11 %V 33 %N 6 %X 注意力机制逐渐成为目前深度学习领域的主流方法和研究热点之一,它通过改进源语言表达方式,在解码中动态选择源语言相关信息,从而极大改善了经典Encoder-Decoder框架的不足。该文在提出传统基于Encoder-Decoder框架中存在的长程记忆能力有限、序列转化过程中的相互关系、模型动态结构输出质量等问题的基础上,描述了注意力机制的定义和原理,介绍了多种不同的分类方式,分析了目前的研究现状,并叙述了目前注意力机制在图像识别、语音识别和自然语言处理等重要领域的应用情况。同时,进一步从多模态注意力机制、注意力的评价机制、模型的可解释性及注意力与新模型的融合等方面进行了探讨,从而为注意力机制在深度学习中的应用提供新的研究线索与方向。 %U http://jcip.cipsc.org.cn/CN/abstract/article_2774.shtml