基于Transformer模型的商品评论情感分析

摘要
参考文献
相关文章 (15)

全文: PDF (3005 KB) HTML (1 KB)
输出: BibTeX | EndNote (RIS)

摘要该文通过研究商品评论正、负向情感识别任务,基于Transformer模型,提出了一种结合多头自注意力层和卷积层的神经网络模型,其中多头自注意力层丰富了词语之间的关联关系,卷积操作进行特征的再提取和融合。通过和双向长期时记忆网络(bidirectional long short-term memory networks, BILSTM)、基于注意力机制的BILSTM网络、文本卷积神经网络(text convolutional neural networks, TEXTCNN)进行对比,实验证明,该文提出的模型在商品评论情感分类任务的最高准确率分别提高了4.12%、1.47%、1.36%,同时训练用时也大大缩减。

	服务

	把本文推荐给朋友
	加入我的书架
	加入引用管理器
	E-mail Alert
	RSS
	作者相关文章
	杜朋
	卢益清
	韩长风

关键词 ：情感分析, 多头自注意力机制, 神经网络, 商品评论

Abstract：This paper investigates the positive and negative emotion recognition of commodity reviews, and proposes a neural network model based on the Transformer model, which combines the multi-head self-attention layer and the convolution layer. The multi-head self-attention layer enriches the correlation between words, and the convolution operation is used for further feature extraction and fusion. Compared with Bidirectional Long Short-Term Memory Networks (Bi-LSTM), Bi-LSTM with attention and Text Convolutional Neural Networks (TEXTCNN), experiments show that the proposed model improves the top accuracy of emotion classification tasks by 4.12%, 1.47% and 1.36%, respectively.

Key words： sentiment analysis multi-head self-attention mechanism neural network commodity review

收稿日期: 2019-11-29

中图分类号:

TP391

作者简介: 杜朋(1996—),硕士研究生,主要研究领域为自然语言处理。E-mail:18810911898@163.com
卢益清(1980—),通信作者,博士,副教授,主要研究领域为商务计算、供应链管理。E-mail:luyiqing@126.com
韩长风(1996—),硕士研究生,主要研究领域为供应链和博弈论。E-mail:15137092320@163.com

链接本文:

http://jcip.cipsc.org.cn/CN/Y2021/V35/I2/125

[1] 李欧. 商品在线评论的情感分析及应用[D]. 大连: 大连海事大学硕士学位论文, 2017.
[2] 许建飞. 基于依存句法与情感极性融合的商品评论特征标签抽取研究[J]. 江苏科技信息, 2019, (13): 36-40.
[3] 张明辉. 情感分析在商品评论中的应用[J]. 现代信息科技, 2019, (10): 187-190.
[4] 陶莉娜, 李超萍, 李健, 等. 基于商品评论文本的情感分析研究[J]. 现代信息科技, 2018, 002(004): 19-20.
[5] 刘德喜, 聂建云, 张晶, 等. 中文微博情感词提取: N-Gram为特征的分类方法[J]. 中文信息学报, 2016, 30 (4): 193-205.
[6] 杜慧, 徐学可, 伍大勇, 等. 基于情感词向量的微博情感分类[J]. 中文信息学报, 2017, 31(3): 170-176.
[7] 刘德喜, 聂建云, 万常选, 等. 基于分类的微博新情感词抽取方法和特征分析[J]. 计算机学报, 2018, 427(7): 146-169.
[8] 彭云,万常选. 基于语义约束LDA的商品特征和情感词提取[J]. 软件学报, 2017, (3): 676-693.
[9] Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[C]//Proceedings of the Advances in Neural Information Processing Systems. 2017: 5998-6008.
[10] 李婷婷, 姬东鸿. 基于SVM和CRF多特征组合的微博情感分析[J]. 计算机应用研究, 2015, 32(4): 978-981.
[11] Pu X, Wu G, Yuan C. Exploring overall opinions for document level sentiment classification with structural SVM[J]. Multimedia Systems, 2019, 25(1): 21-33.
[12] 喻涛, 罗可. 结合产品特征的评论情感分类模型[J]. 计算机工程与应用, 2019, 55(16): 108-114.
[13] Bahdanau D, Cho K, Bengio Y. Neural machine translation by jointly learning to align and translate[J]. Computer Science, 2014, 24(6): 28-42.
[14] 陈鹏达. 基于深度学习的商品推荐系统的研究与实现[D]. 北京: 北京邮电大学硕士学位论文, 2019.
[15] 黄浩洋. 基于深度学习的自动句法纠错研究[D]. 北京: 北京大学硕士学位论文, 2019.
[16] Dehghani M , Gouws S , Vinyals O , et al. Universal transformers[J/OL]. arXiv preprint arXiv: 1807.03819, 2018.
[17] Xu W, Tan Y. Semi-supervised rarget-level sentiment analysis via variational autoencoder[J/OL]. arXiv preprint arXiv: 1810.10437, 2018.
[18] 周健, 田萱, 崔晓晖. 基于改进Sequence-to-Sequence模型的文本摘要生成方法[J]. 计算机工程与应用, 2019, 55(1): 128-134.
[19] 谢志峰, 吴佳萍, 马利庄. 基于卷积神经网络的中文财经新闻分类方法[J]. 山东大学学报(工学版), 2018, 48(03): 38-43, 70.
[20] Sennrich R, Haddow B, Birch A. Neural machine translation of rare words with subword units[J/OL]. arXiv preprint arXiv: 1508.07909, 2015.
[21] Kim Y. Convolutional neural networks for sentence classification [C]//Proceedings of EMNLP 2014 Conference on Empirical Methods in Natural Language Processing,2014: 1746-1751.
[22] Devlin J , Chang M W , Lee K , et al. BERT: Pre-training of deep bidirectional transformers for language understanding[C]//Proceeding of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Minneapolis, MN, USA. 2019: 4171-4186.