传统的形态分析方法,一般是先进行音变还原工作,再进行形态切分工作。音变还原工作的好坏直接影响形态切分工作的优劣,两者之间存在错误传播的问题。鉴于传统形态分析方法存在的错误传播问题,该文提出了基于联合音变还原和形态切分的形态分析方法。该方法通过使用具有双重功能的联合标签,同时实现了音变还原及形态切分的功能。由于该方法不依赖于黏着语的特有的语言学规则,因此便于扩展到新的语言上。结果表明,联合音变还原和形态切分的形态分析方法要优于传统的先进行音变还原后形态切分的形态分析方法,能够很好地解决先音变还原后形态切分带来的错误传播问题。
Abstract
In order to solve the problem of error propagation in traditional morphological analysis method with a pipline of the voice harmony restoration and the morphological segmentation, this paper presents a unified approach combining voice harmony restoration and morphological segmentation. It makes use of a kind of integrated label for both the voice harmony restoration and morphological segmentation. Experiments show that the proposed method can improve precision and alleviate the error propagation in traditional morphological analysis method.
关键词
形态分析 /
音变还原 /
形态切分
{{custom_keyword}} /
{{custom_sec.title}}
{{custom_sec.title}}
{{custom_sec.content}}
参考文献
[1] 艾山·吾买尔,吐尔根·依布拉音. 基于噪声信道模型的维吾尔语央音原音识别[J]. 中国计算机语言学研究前沿发展,2010,46(15):118-120.
[2] 麦热哈巴·艾力,姜文斌,吐尔根·依布拉音. 维吾尔语词法中音变现象的自动还原模型[J].中文信息学报,2012,26(1):91-96.
[3] 赵伟,侯宏旭,从伟,宋美娜. 基于条件随机场的蒙古语词切分研究[J]. 中文信息学报, 2010,24(5):31-35.
[4] 麦热哈巴·艾力,姜文斌,王志洋,吐尔根·依布拉音,刘群. 基于有向图模型的维吾尔语词法分析[J]. 软件学报,2012,23(12):3115-3129.
[5] 古丽拉·阿东别克,米吉提·阿不力米提. 维吾尔语词切分方法初探[J].中文信息学报2004,18(6):61-65.
[6] 阿依克孜·卡德尔,开沙尔·卡德尔,吐尔根·依布拉音. 面向自然语言处理信息处理的维吾尔语名词形态分析研究[J]. 中文信息学报,2006,20(3):43-48.
[7] 艾山·吾买尔,吐尔根·依布拉音,早克热·卡德尔.维吾尔语名词干提取算法的研究[C]//第四届全国信息检索与内容安全学术会议,2008.
[8] 早克热·卡德尔,吐尔根·依布拉音. 维吾尔语形容词构形词缀有限状态机[J].电脑知识与技术,2009,5(4):937-941.
[9] 宋彦, 蔡东风, 张桂平,赵海. 一种基于字词联合解码的中文分词方法[J]. 软件学报,2009,20(9):2366-2375.
[10] 米海涛, 熊德意, 刘群. 中文词法分析与句法分析融合策略研究[J]. 中文信息学报,2008,22(2):10-17.
[11] 那顺乌日图, 雪艳, 叶嘉明. 现代蒙古语料库加工技术的新进展—新一代蒙古语词语自动切分与标注系统[C].第十届全国少数民族语言文字信息处理学术研讨会,2005.
[12] 那顺乌日图, 淑琴. 面向信息处理的蒙古语规范化探究[J]. 中央民族大学学报(哲学社会科学版), 2006,6:115-122.
[13] 丛伟. 基于层叠隐马尔科夫模型的蒙古语词切分系统的研究[D]. 内蒙古大学硕士毕业论文,2009.
[14] 艳红, 王斯日古楞. 基于 HMM的蒙古文自动词性标注研究[J]. 内蒙古师范大学报( 自然科学汉文版),2010,39(2):206-209.
[15] 李文,李淼,张建. 一种带权值参数的非监督式形态分析方法[C].少数民族青年自然语言处理技术研究与进展,2010.
[16] 米热古丽·艾力, 米吉提·阿不力米提, 艾斯卡尔·艾木都拉.基于词法分析的维吾尔语元音弱化算法研究[J],中文信息学报,2008,22(4):43-47.
[17] 米吉提·阿不力米提, 等.维吾尔语中的语音和谐规律及算法的实现[C].中国科协 2005 年会. 2005.
[18] 姜文斌,吴金星,长青,那顺乌日图,刘群,赵理莉, 蒙古语词法分析的有向图模型[J]. 中文信息学报,2011, 25(5): 94-100.
[19] 阿孜占丽·夏力甫. 维吾尔语动词附加语素的复杂特征研究[J]. 中文信息学报,2008,22(3):105-109.
[20] 侯宏旭, 刘群, 那顺乌日图, 牧仁高娃, 李锦涛. 基于统计语言模型的蒙古文词切分[J]. 模式识别与人工智能,2009,22(1):108-112.
{{custom_fnGroup.title_cn}}
脚注
{{custom_fn.content}}
PDF(2694 KB)
