汉语未登录词的知识表示与预测,包括词性、构词结构、词义等项目,是计算语言学领域中的基础性问题。该文依据“平行周遍”原则,从现有的语义构词知识中提取“平行条件”,将未登录词潜在的构词因素与这些“平行条件”进行适应性匹配,从而对其知识表示进行相对完整的预测。该方法将新的语言学理论与未登录词的理解应用问题结合,取得了显著的效果,其解释能力、便捷性和精细程度优于此前方法。这些研究,除了在自然语言处理领域有实用价值,也有望推动词典编撰、语言研究与教学等人文领域的进展。
Abstract
Knowledge representation and prediction of Chinese unknown words, including parts of speech, word-formation structure and word meaning, is a fundamental issue in computational linguistics. According to the principle of Parallel Circumference, this paper extracts Parallel Conditions from the existing semantic word-formation know-ledge, and identifies the candidate unknown words with these word-formation factors. This method applies this linguistic theory with the identification unknown words, achieving better explanatory ability, convenience and precision. These study are expected to promote the progress of computational lexicography, language research and teaching and other humanities fields.
关键词
汉语未登录词 /
平行周遍条件 /
语义构词 /
知识表示 /
知识预测
{{custom_keyword}} /
Key words
Chinese unknown word /
parallel condition /
semantic word-formation /
knowledge representation /
know-ledge prediction
{{custom_keyword}} /
{{custom_sec.title}}
{{custom_sec.title}}
{{custom_sec.content}}
参考文献
[1] 周洪波. 新词语的预测[J]. 语言文字应用, 1996(02):73-78+113.
[2] 王东海, 王丽英,等. 谈新词语预测的依据[J]. 长江学术, 2010(2):118-124.
[3] Tseng H . Semantic classification of Chinese unknown words[C]//Proceedings of the Meeting of Association for Computational Linguistics. Association for Computational Linguistics, 2003.
[4] LU X. Hybrid models for semantic classification of Chinese unknown words[C]//Proceedings of Human Language Technologies 2007: The Conference of the North American Chapter of the Association for Computational Linguistics, 2007: 188-195.
[5] 尚芬芬,顾彦慧,戴茹冰,等. 基于《现代汉语语义词典》的未登录词语义预测研究[J]. 北京大学学报(自然科学版), 2016, 52(1):10-16.
[6] 张瑞霞,杨国增,闫新庆. 基于知网的汉语普通未登录词语义分析模型[J]. 计算机应用与软件, 2012, 29(8): 126-130.
[7] 田元贺,刘扬. 汉语未登录词的词义知识表示及语义预测[J]. 中文信息学报, 2016, 30(6): 26-34.
[8] 瞿健菊,冯敏萱. 基于知识库的汉语未登录词语义预测[J]. 中文信息学报, 2018, 32(1): 34-42.
[9] 陈保亚. 论平行周遍原则与规则语素组的判定[J]. 中国语文, 2006, 2: 99-108.
[10] 徐通锵. 徐通锵自选集[M].郑州: 河南教育出版社, 1993.
[11] 周上之. 辞研究和复合词研究的共同任务, 载《世纪对话——汉语字本位与词本位的多角度研究》[M].北京:北京大学出版社, 2013.
[12] 金朝炜. 字的性质和类推, 载《世纪对话——汉语字本位与词本位的多角度研究》[M].北京:北京大学出版社, 2013.
[13] 刘扬,林子,康司辰. 汉语的语素概念提取与语义构词分析[J]. 中文信息学报, 2018, 32(2): 12-21.
[14] Lin Z, Liu Y. Implanting rational knowledge into distributed representation at morpheme level[C]//Proceedings of the 32nd AAAI Conference on Artificial Intelligence, 2019:2954-2961.
[15] 赵元任. 中国现代语言学的开拓和发展:赵元任语言学论文选[M]. 北京:清华大学出版社, 1992.
[16] 吕叔湘. 汉语语法分析问题[M]. 北京:商务印书馆, 1979.
[17] 呂叔湘. 中国文法要略[M]. 北京:商务印书馆, 1990.
[18] 高名凯. 汉语语法论[M]. 北京:商务印书馆, 1986.
[19] 朱德熙. 语法体系和语法分析[J]. 中国语文, 1982, 1.
[20] 刘叔新. 汉语复合词内部形式的特点与类别[J]. 中国语文, 1985, 3: 186-188.
[21] 傅力. 复合式合成词中应该有“同位型”的地位[J]. 汉语学习, 1989 (4): 11-13.
[22] 周荐. 复合词词素间的意义结构关系[M]. 语言研究论丛(第六辑), 天津:天津教育出版社, 1991.
[23] 杨梅. 现代汉语合成词构词研究[D]. 南京:南京师范大学博士学位论文, 2006.
[24] 符淮青. 义项的性质与分合[J]. 辞书研究, 1981, 3: 86-94.
[25] 符淮青. 词义和构成词的语素义的关系[J]. 辞书研究, 1981, 1: 98-110.
[26] 亢世勇, 李毅, 孙道功, 等. 汉语系统语料库的建设与词典编纂[C]//2004年辞书与数字化研讨会论文集,上海辞书学会, 2004:145-151.
[27] 陈龙, 饶琪, 刘扬. 汉语词的非字面义的表示与应用[J]. 中国科学:信息科学, 2019(8):1005-1018.
[28] 陈保亚. 再论平行周遍原则和不规则字组的判定[J]. 汉语学习, 2005(01):9-13.
[29] 陈保亚. 论平行周遍原则与规则语素组的判定[J]. 中国语文, 2006(2):99-108.
[30] 郑家恒, 李文花. 基于构词法的网络新词自动识别初探[J]. 山西大学学报(自然科学版), 2002, 25(2):115-119.
[31] 张海军, 冯冲, 史树敏, 等. 一种应用组合特征的中文未登录词词性猜测研究[J]. 小型微型计算机系统, 2010, 31(7): 1402-1406.
[32] 洪铭材, 张阔, 李涓子. 基于条件随机场(CRFs)的中文词性标注方法[J]. 计算机科学, 2006, 33(10):148-151.
{{custom_fnGroup.title_cn}}
脚注
{{custom_fn.content}}
基金
国家社会科学基金(16BYY137、18ZDA295)
{{custom_fund}}
PDF(1057 KB)
