基于BCC的离合词离析形式自动识别研究

摘要
参考文献
相关文章 (11)

全文: PDF (1054 KB) HTML (1 KB)
输出: BibTeX | EndNote (RIS)

摘要该文从中文信息处理角度对动宾型离合词自动识别进行研究。通过分析离合词在实际语料中的使用特点以及离合词离析成分在大规模语料库中的表现形式,从离合词内部入手,形式化地表示离合词的离析形式,总结自动识别的规则,设计基于规则的自动识别算法。经过优化后,该算法在20亿字的语料中达到了91.6%的正确率。离合词语素构词能力强,分词与词性标注错误,规则的不完整性,语料本身的错误,以及人工标注的疏漏等是影响实验结论的主要因素。

	服务

	把本文推荐给朋友
	加入我的书架
	加入引用管理器
	E-mail Alert
	RSS
	作者相关文章
	臧娇娇
	荀恩东

关键词 ：离合词, BCC, 离析形式, 自动识别

Abstract：This paper conducts a research on the automatic recognition of separable words from the perspective of Chinese information processing. It summarizes recognition rules and design a recognition algorithm considering the separable forms derived from the large-scale corpus. The algorithm achieves 91.6% accuracy after a continuous optimization in the corpus of two billion words. Error analysis reveals that the morphemes with strong word-fromation ability, incorrect word segmentation and POS tagging, incomplete rules, and errors in the corpus accounts for most of the mistakes..

Key words： separable words BCC separable forms automatic recognition

收稿日期: 2016-09-15

中图分类号:

TP391

基金资助:国家高技术研究发展计划(863计划)(2015AA015409)

作者简介:

臧娇娇(1990—),硕士,主要研究领域为计算语言学。E-mail: qiaolidiefei528@163.com

荀恩东(1967—),通信作者,教授,主要研究领域为自然语言处理、计算机教育技术。E-mail: edxun@126.com

链接本文:

http://jcip.cipsc.org.cn/CN/Y2017/V31/I1/75

[1] 陆志韦.汉语的构词法[M]. 北京: 科学出版社,1957: 38-40.
[2] 王海峰,李生等.汉英机器翻译中汉语离合词的处理策略[J].情报学报,1999,04: 303-305.
[3] 王春霞. 基于语料库的离合词研究[D]. 北京: 北京语言文化大学,2001.
[4] 史晓东.汉英机器翻译中离合词的处理[C].黄河燕.全国机器翻译研讨会论文集.北京: 电子工业出版社,2002: 69-72.
[5] 徐建山. 汉语离合词和长距离搭配的研究[D].哈尔滨: 哈尔滨工业大学,2003.
[6] 任海波,王刚.基于语料库的现代汉语离合词形式分析[J].语言科学,2005,04: 81-84.
[7] 周卫华,胡家全. 中文信息处理中离合词的处理策略[J]. 三峡大学学报,2010,06: 41-44.
[8] 冯向华. 现代汉语文本中离合词扩展形式的自动识别[D]. 北京: 北京师范大学,2009.
[9] 刘博.基于语料库的离合词扩展形式自动识别研究[D].保定: 河北大学.2015.
[10] 荀恩东,饶高琦,臧娇娇等. 大数据背景下BCC语料库的研制[J].语料语言学,2016,01: 91-106.
附录附录1 140个离合词碍事罢工拜年帮忙保密报仇报名毕业闭幕贬值变形变质拨款补课参军操心插嘴吵架
   吵嘴称心吃惊吃苦吃亏抽空出差出神出院吹牛辞职打架打猎打仗打针带头担心当面
   捣蛋捣乱倒霉到期道歉登记定性丢人懂事动身发烧放假放心放学分红干杯搞鬼告状
   鼓掌挂钩挂号拐弯害怕害羞狠心化妆怀孕灰心集邮及格加油剪彩减产见面讲理接班
   结果结婚敬礼就业鞠躬决口绝望开刀开课开幕考试旷工旷课劳驾离婚理发聊天留意
   埋头满月冒险纳闷配套拼命破产起草起床起哄请假请客让步入学散步伤心上当生气
   升学失学失业失约睡觉探亲叹气提醒跳舞听话投标完蛋握手洗澡献身泄气行贿行军
   宣誓延期要命移民迎面游泳遭殃沾光站岗照相争气执勤注册着急
   附录2 规则集合
   插入汉字的集合: 了、过、过了、着、个、什么、的、上、不上、完、不完、好、不好、起、成、不成、得、不得、不了、不到、一、大、高、闷、透、尽、碎、足
   插入词性的集合: m、q、a、v、n、r、d、f
   重叠集合: AAB、A一AB、A了AB、A没AB、A不AB
   插入多种成分的集合: A+r+m/q/r/的+B、A+n+m/q/a/的+B、A+着/了/过+m/q/r/a/n+B、A+m/q+r/a/n+B、 A+d+v/d/u+B、A+m+q+B、A+m+q+a/n+B、A+了/过+m+q+B附录3 120个离合词的正确率和召回率
   120个离合词的正确率和召回率详见网址:
   https: //pan.baidu.com/s/1c13zAak

臧娇娇(1990—),硕士,主要研究领域为计算语言学。
E-mail: qiaolidiefei528@163.com

荀恩东(1967—),通信作者,教授,主要研究领域为自然语言处理、计算机教育技术。
E-mail: edxun@126.com