引用本文:
杜朋,卢益清,韩长风. 基于Transformer模型的商品评论情感分析[J]. 中文信息学报, 2021, 35(2): 125-132.
DU Peng, LU Yiqing, Han Changfeng. Sentiment Analysis of Commodity Reviews Based on Transformer Model. , 2021, 35(2): 125-132.
基于Transformer模型的商品评论情感分析
杜朋,卢益清,韩长风
北京信息科技大学 信息管理学院,北京 100192
Sentiment Analysis of Commodity Reviews Based on Transformer Model
DU Peng, LU Yiqing, Han Changfeng
College of Information Management, Beijing Information Science and Technology University, Beijing 100192, China
摘要 该文通过研究商品评论正、负向情感识别任务,基于Transformer模型,提出了一种结合多头自注意力层和卷积层的神经网络模型,其中多头自注意力层丰富了词语之间的关联关系,卷积操作进行特征的再提取和融合。通过和双向长期时记忆网络(bidirectional long short-term memory networks, BILSTM)、基于注意力机制的BILSTM网络、文本卷积神经网络(text convolutional neural networks, TEXTCNN)进行对比,实验证明,该文提出的模型在商品评论情感分类任务的最高准确率分别提高了4.12%、1.47%、1.36%,同时训练用时也大大缩减。
关键词 :
情感分析 ,
多头自注意力机制 ,
神经网络 ,
商品评论
Abstract :This paper investigates the positive and negative emotion recognition of commodity reviews, and proposes a neural network model based on the Transformer model, which combines the multi-head self-attention layer and the convolution layer. The multi-head self-attention layer enriches the correlation between words, and the convolution operation is used for further feature extraction and fusion. Compared with Bidirectional Long Short-Term Memory Networks (Bi-LSTM), Bi-LSTM with attention and Text Convolutional Neural Networks (TEXTCNN), experiments show that the proposed model improves the top accuracy of emotion classification tasks by 4.12%, 1.47% and 1.36%, respectively.
Key words :
sentiment analysis
multi-head self-attention mechanism
neural network
commodity review
收稿日期: 2019-11-29
作者简介 : 杜朋(1996—),硕士研究生,主要研究领域为自然语言处理。E-mail:18810911898@163.com 卢益清(1980—),通信作者,博士,副教授,主要研究领域为商务计算、供应链管理。E-mail:luyiqing@126.com 韩长风(1996—),硕士研究生,主要研究领域为供应链和博弈论。E-mail:15137092320@163.com
[1] 李欧. 商品在线评论的情感分析及应用[D]. 大连: 大连海事大学硕士学位论文, 2017. [2] 许建飞. 基于依存句法与情感极性融合的商品评论特征标签抽取研究[J]. 江苏科技信息, 2019, (13): 36-40. [3] 张明辉. 情感分析在商品评论中的应用[J]. 现代信息科技, 2019, (10): 187-190. [4] 陶莉娜, 李超萍, 李健, 等. 基于商品评论文本的情感分析研究[J]. 现代信息科技, 2018, 002(004): 19-20. [5] 刘德喜, 聂建云, 张晶, 等. 中文微博情感词提取: N-Gram为特征的分类方法[J]. 中文信息学报, 2016, 30 (4): 193-205. [6] 杜慧, 徐学可, 伍大勇, 等. 基于情感词向量的微博情感分类[J]. 中文信息学报, 2017, 31(3): 170-176. [7] 刘德喜, 聂建云, 万常选, 等. 基于分类的微博新情感词抽取方法和特征分析[J]. 计算机学报, 2018, 427(7): 146-169. [8] 彭云,万常选. 基于语义约束LDA的商品特征和情感词提取[J]. 软件学报, 2017, (3): 676-693. [9] Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[C]//Proceedings of the Advances in Neural Information Processing Systems. 2017: 5998-6008. [10] 李婷婷, 姬东鸿. 基于SVM和CRF多特征组合的微博情感分析[J]. 计算机应用研究, 2015, 32(4): 978-981. [11] Pu X, Wu G, Yuan C. Exploring overall opinions for document level sentiment classification with structural SVM[J]. Multimedia Systems, 2019, 25(1): 21-33. [12] 喻涛, 罗可. 结合产品特征的评论情感分类模型[J]. 计算机工程与应用, 2019, 55(16): 108-114. [13] Bahdanau D, Cho K, Bengio Y. Neural machine translation by jointly learning to align and translate[J]. Computer Science, 2014, 24(6): 28-42. [14] 陈鹏达. 基于深度学习的商品推荐系统的研究与实现[D]. 北京: 北京邮电大学硕士学位论文, 2019. [15] 黄浩洋. 基于深度学习的自动句法纠错研究[D]. 北京: 北京大学硕士学位论文, 2019. [16] Dehghani M , Gouws S , Vinyals O , et al. Universal transformers[J/OL]. arXiv preprint arXiv: 1807.03819, 2018. [17] Xu W, Tan Y. Semi-supervised rarget-level sentiment analysis via variational autoencoder[J/OL]. arXiv preprint arXiv: 1810.10437, 2018. [18] 周健, 田萱, 崔晓晖. 基于改进Sequence-to-Sequence模型的文本摘要生成方法[J]. 计算机工程与应用, 2019, 55(1): 128-134. [19] 谢志峰, 吴佳萍, 马利庄. 基于卷积神经网络的中文财经新闻分类方法[J]. 山东大学学报(工学版), 2018, 48(03): 38-43, 70. [20] Sennrich R, Haddow B, Birch A. Neural machine translation of rare words with subword units[J/OL]. arXiv preprint arXiv: 1508.07909, 2015. [21] Kim Y. Convolutional neural networks for sentence classification [C]//Proceedings of EMNLP 2014 Conference on Empirical Methods in Natural Language Processing,2014: 1746-1751. [22] Devlin J , Chang M W , Lee K , et al. BERT: Pre-training of deep bidirectional transformers for language understanding[C]//Proceeding of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Minneapolis, MN, USA. 2019: 4171-4186.
[1]
韩永鹏,陈彩,苏航,梁毅. 融合通道特征的混合神经网络文本分类模型 [J]. 中文信息学报, 2021, 35(2): 78-88.
[2]
周武,曾碧卿,徐如阳,杨恒,韩旭丽,程良伦. 融合多特征的分段卷积神经网络对象级情感分类方法 [J]. 中文信息学报, 2021, 35(2): 116-124,132.
[3]
陈玮,林雪健,尹钟. 基于神经网络融合标签相关性的多标签情感预测研究 [J]. 中文信息学报, 2021, 35(1): 104-112.
[4]
曹紫琰,冯敏萱,毛雪芬,程宁,宋阳,李斌. 细颗粒度汽车评论语料库的构建和分析 [J]. 中文信息学报, 2020, 34(9): 28-35.
[5]
杜成玉,刘鹏远. 基于螺旋注意力网络的方面级别情感分析模型 [J]. 中文信息学报, 2020, 34(9): 70-77.
[6]
王晓涵,余正涛,相艳,郭贤伟,黄于欣. 基于特征扩展卷积神经网络的案件微博观点句识别 [J]. 中文信息学报, 2020, 34(9): 62-69.
[7]
曹军梅,马乐荣. 卷积重提取特征的文档列表排序学习方法 [J]. 中文信息学报, 2020, 34(8): 86-93.
[8]
陈茹,卢先领. 融合空洞卷积神经网络与层次注意力机制的中文命名实体识别 [J]. 中文信息学报, 2020, 34(8): 70-77.
[9]
孙凯丽,邓沌华,李源,李妙,李洋. 基于句内注意力机制多路CNN的汉语复句关系识别方法 [J]. 中文信息学报, 2020, 34(6): 9-17,26.
[10]
才智杰,才让卓玛,孙茂松. 一种多基元联合训练的藏文词向量表示方法 [J]. 中文信息学报, 2020, 34(5): 44-49.
[11]
谭红叶,孙秀琴,闫真. 基于答案及其上下文信息的问题生成模型 [J]. 中文信息学报, 2020, 34(5): 74-81.
[12]
王家乾,龚子寒,薛云,庞士冠,古东宏. 基于混合多头注意力和胶囊网络的特定目标情感分析 [J]. 中文信息学报, 2020, 34(5): 100-110.
[13]
冯煜博,蔡东风,宋彦. 基于知网相关概念场的中文词向量 [J]. 中文信息学报, 2020, 34(3): 13-22.
[14]
李培芸,李茂西,裘白莲,王明文. 融合BERT语境词向量的译文质量估计方法研究 [J]. 中文信息学报, 2020, 34(3): 56-63.
[15]
曹中华,夏家莉,彭文忠,张志斌. 多原型词向量与文本主题联合学习模型 [J]. 中文信息学报, 2020, 34(3): 64-71,106.