藏文词性标注是藏文信息处理的基础,在藏文文本分类、自动检索、机器翻译等领域有广泛的应用。该文针对藏文语料匮乏,人工标注费时费力等问题,提出一种基于词向量模型的词性标注方法和相应算法,该方法首先利用词向量的语义近似计算功能,扩展标注词典;其次结合语义近似计算和标注词典,完成词性标注。实验结果表明,该方法能够快速有效地扩大了标注词典规模,并能取得较好的标注结果。
Abstract
Part of Speech (POS) tagging is fundamental to Tibetan processing, with a wide applications in Tibetan text classification, information retrieval, machine translation and other fields. This paper proposes a method of Tibetan POS tagging based on distributed representation. First, this method extends the dictionary by semantic approximation according to the distributed representation. Then the POS tagging is completed according to the dictionary and the semantic similarity. Experimental results show that this method can expand the dictionary with a better result.
关键词
词向量 /
藏文 /
词性标注
{{custom_keyword}} /
Key words
distributed representation /
Tibetan /
POS
{{custom_keyword}} /
{{custom_sec.title}}
{{custom_sec.title}}
{{custom_sec.content}}
参考文献
[1] 洛桑嘎登,赵小兵.藏文词级处理研究现状及热点方法[J].电脑知识与技术,2015,11: 183-185.
[2] Jiang D. Text-annotation Oriented Tibetan-Chinese Dictionary and Its Construction[C]//Proceedings of the 4th China-Japan Joint Conference to Promote Cooperation in Natural Language Processing.(CJNLP-04), HongKong,2004: 10-15.
[3] 才让加,吉太加.藏语语料库中词性分类代码的确定[C]//中文信息处理前沿进展-中国中文信息学会二十五周年学术会议论文集.北京: 清华大学出版社,2006.
[4] 扎西加,珠杰.面向信息处理的藏文分词规范研究[J].中文信息学报,2009,24(3): 113-123.
[5] 苏俊峰,祁坤钰,本太.基于HMM的藏语语料库词性自动标注研究[J].西北民族大学学报: 自然科学版.2009,30(1): 42-45.
[6] 扎西多杰,安见才让.基于HMM藏文词性标注的研究与实现[J].计算机光盘软件与应用.2012,12: 100-101.
[7] 华却才让,刘群,赵海兴.判别式藏语文本词性标注研究[J].中文信息学报.2014,28(2): 56-60.
[8] 于洪志,李亚超,江昆等.融合音节特征的最大熵藏文词性标注研究[J].中文信息学报.2013,27(5): 160-165.
[9] 康才畯.藏语分词与词性标注研究[D].上海师范大学博士学位论文,2014.
[10] T Mikolov, W T Yih, G Zweig. Linguistic regularities in continuous space word representations[C]//Proceedings of the NAACL-HLT, 2013: 746-751.
{{custom_fnGroup.title_cn}}
脚注
{{custom_fn.content}}
基金
国家自然基金(61262058 );国家社会科学基金(15ZDB11);西藏高校青年教师创新支持计划项目(QC2005_18);高原学者计划—珠杰
{{custom_fund}}
PDF(1695 KB)
郑亚楠(1992—),硕士研究生,主要研究领域为藏文信息处理、数据挖掘。E-mail: zs_zyn@yeah.net 
珠杰(1973—),副教授,硕士生导师,主要研究领域为藏文信息处理、数据挖掘。E-mail: rocky_tibet@qq.com
