本文介绍了2003年“863中文与接口技术”汉语自动分词与词性标注一体化评测的一些基本情况,主要包括评测的内容、评测方法、测试试题的选择与产生、测试指标以及测试结果,并对参评系统的切分和标注错误进行了总结。文中着重介绍了测试中所采用的一种柔性化的自动测试方法,该方法在一定程度上克服了界定一个具体分词单位的困难。同时,对评测的结果进行了一些分析,对今后的评测提出了一些建议。
Abstract
This paper presents the results from the‘863 Chinese and Interface Technology’integrative evaluation on automated Chinese word Segmentation and part of speech (POS) tagging held in 2003 ,Beijing. It describes the evaluation content , evaluation method , selection of test questions , test guideline , etc. , and summarizes the type of word segmentation and POS tagging errors in the tested result. In this paper , we also present a flexible automatic method used in the evaluation. Finally , we give some analyse on the result and make some recommendation for the future.
关键词
计算机应用 /
中文信息处理 /
自动分词 /
词性标注 /
评测
{{custom_keyword}} /
Key words
computer application /
Chinese information processing /
Chinese word segmentation /
POS tagging /
evaluation
{{custom_keyword}} /
{{custom_sec.title}}
{{custom_sec.title}}
{{custom_sec.content}}
参考文献
[1] Mu Li , Jian Feng Gao , Changning Huang. Unsupervised training for overlapping ambiguity resolution in Chinese word senmetation[A] . Sighan workshop on Chinese Language Processing[C] . 2003 :1 - 7.
[2] Xiao Luo , Maosong Sun. Covering Ambiguaty resolution in Chinese word segmentation based on contextual information [A] . In : Proceedings of COLING2002[C] . 2002 :127 - 134.
[3] 黄昌宁,高剑峰,李沐. 对自动分词的反思[A] . 语言计算与基于内容的文本处理[C] . 北京:清华大学出版社,2003.
[4] Richard Sproat , Thomas Emerson , The first international Chinese word segmentation bakeoff [EBPOL] , www.sighan.org.
[5] 何克抗,徐辉等. 书面汉语自动分词专家系统设计原理[J] . 中文信息学报,1991 , (2) : ,1 - 14.
[6] 孙茂松,邹嘉彦. 汉语自动分词研究综述[J] . 当代语言学,2001 , (1) :22 - 32.
[7] 黄昌宁. 中文信息处理中的分词问题[J] . 语言文字应用, 1997 , (1) :72 - 78.
[8] 刘开瑛. 中文文本自动分词和标注[M] . 北京:商务印书馆,2000.
[9] 孙茂松,左正平,邹嘉彦. 高频最大交集型歧义切分字段在汉语自动分词中的应用[J] ,中文信息学报, 1999 , (1) :27 - 34.
[10] 宋柔. 关于分词规范的探讨[J] . 语言文字应用,1997 ,3 ,111 - 112.
{{custom_fnGroup.title_cn}}
脚注
{{custom_fn.content}}
基金
国家863计划资助项目(2001AA114017)
{{custom_fund}}
PDF(373 KB)
