“自然语言理解与生成” 栏目所有文章列表

(按年度、期号倒序)

  • 一年内发表的文章
  • 两年内
  • 三年内
  • 全部
Please wait a minute...
  • 全选
    |
  • 尹商鉴,黄沛杰,梁栋柱,何卓棋,黎倩尔,徐禹洪
    2025, 39(2): 123-130.
    摘要 (25) PDF (2218 KB) (9)
    近年来,多意图口语理解(SLU)已经成为自然语言处理领域的研究热点。当前先进的多意图SLU模型采用图的交互式框架进行联合多意图识别和槽填充,能够有效地捕捉到词元级槽位填充任务的细粒度意图信息,取得了良好的性能。但是,它忽略了联合作用下的意图所包含的丰富信息,没有充分利用多意图信息对槽填充任务进行指引。为此,该文提出了一种基于多意图融合框架(MIFF)的联合多意图识别和槽填充框架,使得模型能够在准确地识别不同意图的同时,利用意图信息为槽填充任务提供更充分的指引。在MixATIS和MixSNIPS两个公共数据集上进行了实验,结果表明,该文所提模型在性能和效率方面均超过了同期最先进的方法,同时能够有效从单领域数据集泛化到多领域数据集上。
  • 钟茂生,刘蕾,吴如萍,甘家其,周新宇
    2025, 39(2): 131-142.
    摘要 (50) PDF (2133 KB) (17)
    排比句是一种常用的修辞手法,其使用具有增强气势、强调突出、层次清晰的效果。排比句生成对于文本生成具有重要意义,能够丰富文本生成的风格和形式,提升教育、广告和文学创作的质量,但目前暂无生成模型和公开的排比句语料库。为此,该文在收集和构建排比句数据集的基础上,结合排比句具有的语言学特征,提出了一种基于词性对齐与依存关系的中文排比句生成模型,称为CPG-PosDep。模型从语言学出发,首先用设定的分词、句内词序和句间位置三种特殊符号及随机采样策略对排比句进行全局标识,并结合改进的Transformer注意力机制学习排比句的词性对齐特征,然后使用BERT和注意模块将给定分句的依存关系信息融入模型中,融合生成排比句。在排比句数据集上的实验表明,模型能够生成与给定分句在对应位置词性一致、依存关系相同的通顺分句,相比使用现有对联或诗歌生成模型生成的排比句,该文所提模型生成的排比句质量更具优势。
  • 倪宣凡,李丕绩
    2025, 39(2): 143-152.
    摘要 (25) PDF (3029 KB) (7)
    开放式自动故事生成旨在通过输入故事的开头、大纲、主线等,得到具有一致性、连贯性和逻辑性的故事。现有的方法想要提升生成故事的质量,往往需要大量训练数据和更多参数的模型。针对以上问题,该文利用提示学习在零样本与少样本场景下的优势,借助外部常识推理知识,提出了一种融合提示学习的故事生成方法。该方法将故事生成分为三个阶段: 输入故事的开头,常识推理模型生成可能的事件;根据类型不同,将事件填入问题模板中,构建引导模型生成合理回答的问题;问答模型产生对应问题的答案,并选择困惑度最小的作为故事下文。重复上述过程,最终生成完整的故事。自动评测与人工评测结果表明,与基线模型相比,该文提出的方法能够生成更连贯、具体和更有逻辑的故事。
  • 来雨轩,王艺丹,王立
    2024, 38(12): 148-158.
    摘要 (148) PDF (1845 KB) (116)
    智能命题是自然语言处理与智能教育交叉领域的一项重要任务。现有问题生成方法过于聚焦材料文本细节,而忽略了对知识点本身的考察。该文提出了一种基于大语言模型与检索增强技术的学科试题生成方法。该方法设计了明确的指令提问方式,并融合少样本语境学习与检索得到的教材相关信息,以激发大语言模型的潜力,让生成试题在风格和难度等方面符合实用需求。两种题型的试题生成结果表明,该文方法在自动评价和人工评价中较基线模型取得了更高的可用率和多样性,直接可用率达到了人类专家的77.5%,且高质量试题的比例略超过人工结果,基本满足大规模试题生成的应用需求。
  • 曹天旸,许晓丹,常宝宝
    2024, 38(12): 159-169,180.
    摘要 (90) PDF (2689 KB) (33)
    数学文字题是一段能反映数学等式潜在逻辑的叙述性文本。成功的数学问题生成在语言生成和教育领域都具有广阔的应用前景。前人的工作大多需要人工标注的模板或关键词作为输入,且未考虑数学表达式本身的特点。该文提出了一种多任务联合训练的问题文本生成模型。作者设计了三个辅助任务,包括数字间关系抽取、数值排序和片段替换预测。它们与生成目标联合训练,用以监督解码器的学习,增强模型对运算逻辑和问题条件的感知能力。实验证明,该文所提方法能有效提升生成的数学文字题的质量。
  • 廖俊伟,程帅
    2024, 38(11): 146-159.
    摘要 (122) PDF (1303 KB) (43)
    该文提出了文本润色的任务,其目标是在保留输入句子原本语义的前提下生成表达更为优美的句子。文本润色在现实应用中具有很大价值,是现代智能写作辅助系统的重要组成部分。但是现有文献对文本润色的研究却鲜有涉及,在这个重要方向上的进一步研究需要更为正式的任务定义、基准数据集和强大的基线模型。该文以中文成语润色为例对文本润色任务进行了研究: 首先,将文本润色任务形式化为一个上下文相关的序列到序列的文本生成问题;其次,为了解决任务数据标注困难问题,提出了一种基于人机协作的半自动数据构建方法,并使用该方法创建了一个包括150万条数据的大规模中文文本润色数据集;最后,针对文本润色任务提出了两类特定任务的预训练目标,并使用这些目标训练了一系列基于Transformer的预训练语言模型作为文本润色任务的基线模型。使用基线模型在创建的文本润色任务数据集上进行了广泛的实验,得到了一些重要的发现与结论。人工评测则进一步展示了该基线模型具有较好的文本润色能力。
  • 钟家国,王东升,路曼,李佳伟
    2024, 38(11): 160-170.
    摘要 (154) PDF (1510 KB) (35)
    现有的图像描述生成方法和结果主要侧重于识别图像中已有的图像内容及其关系,而无法生成具有细粒度背景知识的描述。为克服传统图像描述模型时不能描述图片中深层次语义的问题,一方面,该文提出了一种基于目标检测和知识增强的图像描述生成方法,首先在目标检测阶段,提出了一种融合多维度信息的目标分类检测器(Fusion Target Classification Detector,FTCD),通过该检测器获得图中的人脸、商品及物体等目标的标签;其次,引入知识图谱,利用目标分类检测器得到的目标标签在知识图谱中查询相关知识;最后,目标的标签集合和相关知识共同送入模型进行编码;在模型的解码端引入注意力机制,用于引导模型选取合适的信息后生成图像描述。另一方面,针对MSCOCO数据集中的人工描述缺乏常识知识的问题,该文提出一种引入知识图谱的评测指标SPICE-K,SPICE-K可以评价具有常识知识的图像描述。实验结果表明,与基准LBPF模型相比,该文提出的方法有1%的准确率提升。实验分析表明,与基准模型相比,该文方法的性能提升主要来自于引入知识图谱和该文提出的目标分类检测器。
  • 李炜,邵艳秋,毕梦曦,崔晓雅
    2024, 38(11): 171-180.
    摘要 (142) PDF (1692 KB) (50)
    对早期经典的诠释中的引用进行手工标记需要耗费大量时间与人力成本,因此找到一种自动化的引用查找方法非常重要。以预训练语言模型为代表的自然语言处理技术的发展提升了对于文本处理和理解的能力。据此,该文提出多种利用专家知识或深度学习语义理解能力的无监督基线方法来自动查找古代思想家著作中对早期经典的引用。为了验证该文提出的方法的效果并推动自然语言处理技术在数字人文领域的应用,该文以宋代的理学家二程(程颢、程颐)对早期儒家经典的引用为例进行研究,并构建和发布相应的引用查找数据集。实验表明,该文提出方法基于短句的引用探测ROC-AUC值达到了87.83%。基于段落的引用探测ROC-AUC值达到了91.02%。
  • 路曼,王东升,钟家国,李佳伟
    2024, 38(10): 165-174.
    摘要 (137) PDF (2793 KB) (77)
    复述生成技术是自然语言处理领域重要的研究方向,具有广泛的应用场景。目前的预训练模型能够很好地从文本中获取丰富的语义信息,但这些模型生成的复述句在语法结构上缺乏多样性。为解决上述问题,该文对比了不同预训练模型在复述生成任务上的效果,选择UniLM预训练模型作为基础模型,并在此基础上提出了新的句子复述生成方法。首先提出了一种构建句法模板的方法,在不改变模板句的句法结构的前提下,使用特殊字符替换模板句中相关词性的词,同时提出编辑向量的方法用于增强预训练模型。实验结果表明,在Quora和ParaNMT-small数据集上,该文提出的模型在自动评价和人工评价指标上均有明显提升。
  • 宁铭,江爱文,崔朝阳,刘长红,王明文
    2024, 38(5): 155-166.
    摘要 (193) PDF (3610 KB) (190)
    视觉故事生成任务是为一组图像序列生成具有表现力和连贯性的、能准确描述所涉及视觉内容的语句段落,是当前计算机视觉和自然语言处理交叉领域中一个有趣而又快速发展的多模态研究方向。随着预训练模型在各种下游任务的成功,基于预训练模型的视觉故事生成算法也被广泛研究。但因为数据模态的差异和语义鸿沟的存在,预训练模型在微调学习过程中会产生灾难性遗忘问题。如何协调视觉和语言两种模态数据的预训练模型,是当前多模态预训练模型研究的主要目标之一。该文提出基于预训练模型自适应匹配的视觉故事生成算法,一方面综合挖掘图像流的视觉、关系、序列等多样化互补信息,弥补语义差异;同时,另一方面用适应性损失对图文两种模态数据进行特征对齐,以及对图像流数据进行连续信息对齐,取得了较好的效果。算法在目前已公开的视觉故事生成数据集(VIST)上与近年的先进算法进行实验比较。评测结果表明,该文算法在生成故事的图文相关性、文本多样性、内容逻辑连贯性等指标上取得了具有竞争力的结果。
  • 杨媛婷,朱泓禹,马安香,刘玉豪,罗应峰,肖桐
    2024, 38(5): 167-174.
    摘要 (237) PDF (1134 KB) (220)
    中国古典诗歌是一种语言凝练、语义丰富的文学艺术,它的创作因素有许多方面,修辞手法是其中一个最显著的特征之一,诗人在进行创作时通常会使用修辞手法来增强诗歌的感染力和表现力。该文致力于构建具有修辞手法创作能力的诗歌生成模型,以此来提升生成诗歌的多样性、趣味性和新颖性,从而增加读者阅读过程中的审美体验。该文首先通过人工标注、词句特征提取、训练基于BERT的修辞分类器的方式构建一个修辞诗句数据库,然后将每首诗按照一定的方式序列化成一个长句子,并以此来训练语言模型得到诗歌生成模型。自动评测和人工评测结果表明,模型可以生成具有特定修辞手法的诗歌,且生成诗歌的质量相比基线有显著提升。
  • 王瑞琦,罗智勇,刘祥,韩瑞昉,李舒馨
    2024, 38(3): 130-140.
    摘要 (211) PDF (5055 KB) (145)
    机器阅读理解任务要求机器根据篇章文本回答相关问题。该文以抽取式机器阅读理解为例,重点考察当问题的线索要素与答案在篇章文本中跨越多个标点句时的阅读理解问题。该文将小句复合体结构自动分析任务与机器阅读理解任务融合,利用小句复合体中跨标点句话头-话体共享关系,来降低机器阅读理解任务的难度;并设计与实现了基于小句复合体的机器阅读理解模型。实验结果表明,在问题线索要素与答案跨越多个标点句时,答案抽取的精确匹配率(EM)相对于基准模型提升了3.49%,模型整体的精确匹配率提升了3.26%。
  • 廖俊伟,程帅
    2024, 38(3): 141-151.
    摘要 (193) PDF (2793 KB) (99)
    使用多任务训练的自然语言生成模型仅使用一个模型即可完成各种不同的自然语言生成任务。但这种所有任务共享所有参数的模型,无法清楚地知道模型的每一部分参数学到了什么技能。为了根据不同的任务选择激活不同的模型参数,该文提出了一种基于稀疏激活的通用自然语言生成模型(SkillNet-NLG)。与传统的稠密模型在执行任务时激活所有的模型参数不同,SkillNet-NLG在执行任务时,首先依据任务预先定义一组完成任务所需要的技能,然后根据定义的技能选择性地激活与技能相关的模型参数。这种模型设计使其能够通过正确地选择与任务相关的技能来高效地学习新的任务。在中文自然语言生成任务上的实验结果表明,首先,在仅使用一个模型的情况下,SkillNet-NLG在常见的五个自然语言生成任务中的四个上面超过了当前最好方法;其次,SkillNet-NLG的表现优于另外两类多任务基线模型(稠密模型和混合专家模型),并取得了与针对特定任务单独训练的模型相当的性能;最后,当应用到新任务上时,SkillNet-NLG相较于所有基线方法取得了更好的结果,验证了该文所提出的方法对于学习新任务的有效性。
  • 邬宝娴, 谢燚, 郝天永, 沈映珊
    2023, 37(11): 158-170.
    摘要 (216) PDF (2826 KB) (207)
    概念图能够直观地展示概念间的相互关系,为教师提供概念相关性的建议,因而成为教师进行个性化教学的重要工具。然而,如何生成能反映学生学习能力并有效指导教师教学的概念图是目前概念图研究一大难题。该文提出了一种新的自动概念图生成模型C-IK2。C-IK2模型考虑学生的不同学习特点和不同概念理解程度,通过Birch算法对学生概念掌握程度特征进行聚类处理得到学生分簇。同时该模型考虑概念图具有层次结构,针对传统LPG算法在处理层次结构方面的不足进行了改进。通过融合改进的LPG算法,同时改进K2算法的有效输入序列,最终生成具有不同学生学习特征的层次结构概念图。该文使用两个标准数据集进行实验,与现有基于序列的最新改进K2算法进行对比,C-IK2模型在图准确度上提高了7.7%。与现有基于评分的贝叶斯网络结构学习方法相比,C-IK2模型的图结构质量提高了3.1%。结果表明,C-IK2模型能有效区分学生对概念的理解程度,生成反映理解程度的层次结构概念图,从而帮助教师进行针对性地个性化教学。
  • 胡宇,王舰,孙宇清
    2023, 37(3): 152-163.
    摘要 (471) PDF (4986 KB) (328)
    参考规范是指专业知识点的相关文本描述,参考规范指导下的文本生成任务要求自动生成的文本满足与参考规范的语义相关性和知识点匹配性,是自然语言处理领域中的困难问题。相关工作主要控制生成文本的情感、态度等通用性质,无法满足专业层面的复杂控制需求。为此,该文提出了基于对抗架构的专业文本生成模型(PT-GAN),采用多个独立的生成器分别生成不同知识点匹配程度的文本,各生成器均为自编码器结构,其中编码器用于提取参考规范文本的知识点语义特征,解码器用于生成文本;采用两个判别器同时对生成文本的语言规范和专业知识进行指导,其中连贯性判别器用于指导语言规范,专业性判别器用于控制专业层面属性。在多个国家级专业考试真实数据集上进行实验,结果显示该文模型在语言连贯性、与参考规范的语义相关性和知识点匹配性上均有明显提升,更符合该场景下的文本生成需求。
  • 赵志超,游进国,何培蕾,李晓武
    2023, 37(3): 164-172.
    摘要 (559) PDF (2306 KB) (440)
    针对当前中文NL2SQL (Natural language to SQL)监督学习中需要大量标注数据问题,该文提出基于对偶学习的方式在少量训练数据集上进行弱监督学习,将中文查询生成SQL语句。该文同时使用两个任务来训练自然语言转化到SQL,再从SQL转化到自然语言,让模型学习到任务之间的对偶约束性,获取更多相关的语义信息。同时在训练时使用不同比例带有无标签的数据进行训练,验证对偶学习在NL2SQL解析任务上的有效性。实验表明,在不同中英文数据集ATIS、GEO以及TableQA中,本文模型与基准模型Seq2Seq、Seq2Tree、Seq2SQL、以及-dual等相比,百分比准确率至少增加2.1%,其中在中文TableQA数据集上采用对偶学习执行准确率(Execution Accuracy)至少提升5.3%,只使用60%的标签数据就能取得和监督学习使用90%的标签数据相似的效果。
  • 刘权,余正涛,高盛祥,何世柱,刘康
    2022, 36(11): 140-147.
    摘要 (689) PDF (1616 KB) (1380)
    相似案例匹配是智慧司法中的重要任务,其通过对比两篇案例的语义内容判别二者的相似程度,能够应用于类案检索、类案类判等。相对于普通文本,法律文书不仅篇幅更长,文本之间的区别也更微妙,传统深度匹配模型难以取得理想效果。为了解决上述问题,该文根据文书描写规律截取文书文本,并提出一种融合案件要素的方法来提高相似案件的匹配性能。具体来说,该文以民间借贷案件为应用场景,首先基于法律知识制定了6种民间借贷案件要素,利用正则表达式从法律文书中抽取案件要素,并形成词独热形式的案件要素表征;然后,对法律文本倒序截取,并通过BERT编码得到法律文本表征,解决法律文本的长距离依赖问题;接着使用线性网络融合法律文本表征与案件要素表征,并使用BiLSTM对融合的表征进行高维度化表示;最后通过孪生网络框架构建向量表征相似性矩阵,通过语义交互与向量池化进行最终的相似度判断。实验结果表明,该文模型能有效处理长文本并建模法律文本的细微差异,在CAIL2019-SCM公共数据集上优于基线模型。
  • 朱斯琪,过弋,王业相,余军,汤奇峰,邵志清
    2022, 36(11): 148-155,168.
    摘要 (562) PDF (1766 KB) (756)
    该文针对Cail2020法律多跳机器阅读理解数据集进行研究,提出了TransformerG,一个基于不同层级的实体图结构与文本信息的注意力机制融合的多跳阅读理解模型。该模型有效地结合了段落中问题节点、问题的实体节点、句子节点、句中的实体节点的特征与文本信息的特征,从而预测答案片段。此外,该文提出了一种句子级滑动窗口的方法,有效解决在预训练模型中文本过长导致的截断问题。利用TransformerG模型参加中国中文信息学会计算语言学专委会(CIPS-CL)和最高人民法院信息中心举办的“中国法研杯”司法人工智能挑战赛机器阅读理解赛道,取得了第2名的成绩。
  • 马苗,陈小秋,田卓钰
    2022, 36(11): 156-168.
    摘要 (482) PDF (20986 KB) (559)
    根据视频内容自动生成文本序列的密集描述生成融合了计算机视觉与自然语言处理技术。现有密集描述生成方法多强调视频中的视觉与运动信息而忽略了其中的音频信息,关注事件的局部信息或简单的事件级上下文信息而忽略了事件间的时序结构和语义关系。为此,该文提出一种基于多模态特征的视频密集描述生成方法。该方法首先在动作提议生成阶段使用Timeception层作为基础模块以更好适应动作片段时间跨度的多样性,其次在动作提议生成和描述生成两阶段均利用音频特征增强提议和描述生成效果,最后使用时序语义关系模块建模事件间的时序结构和语义信息以进一步增强描述生成的准确性。特别地,该文还构建了一个基于学习场景的视频密集描述数据集SDVC以探究该文所提方法在学习场景现实应用中的有效性。在ActivityNet Captions和SDVC数据集上的实验结果表明,动作提议生成AUC值分别提升0.8%和6.7%;使用真实动作提议进行描述生成时,BLEU_3值分别提升1.4%和4.7%,BLEU_4值分别提升0.9%和5.3%;使用生成的动作提议进行描述生成时,SDVC数据集BLEU_3、BLEU_4值分别提升2.3%和2.2%。
  • 李朦朦,江爱文,龙羽中,宁铭,彭虎,王明文
    2022, 36(9): 139-148.
    摘要 (799) PDF (2151 KB) (1142)
    视觉故事生成是图像内容描述衍生的跨模态学习任务,在图文游记自动生成、启蒙教育等领域有较好的应用研究意义。目前主流方法存在对图像细粒度特征描述薄弱、故事文本的图文相关性低、语言不丰富等问题。为此,该文提出了基于细粒度视觉特征和知识图谱的视觉故事生成算法。该算法针对如何对图像内容进行充分挖掘和扩展表示,在视觉和高层语义方面,分别设计实现了图像细粒度视觉特征生成器和图像语义概念词集合生成器两个重要模块。在这两个模块中,细粒度视觉信息通过含有实体关系的场景图结构进行图卷积学习,高层语义信息综合外部知识图谱与相邻图像的语义关联进行扩充丰富,最终实现对图像序列内容较为全面细致的表示。该文算法在目前视觉故事生成领域规模最大的VIST数据集上与主流先进的算法进行了测试。实验结果表明,该文所提算法生成的故事文本,在图文相关性、故事逻辑性、文字多样性等方面,在Distinct-N和TTR等客观指标上均取得较大领先优势,具有良好的应用前景。
  • 张诗安,熊德意
    2022, 36(9): 149-158.
    摘要 (767) PDF (8059 KB) (876)
    指代是一种重要的语言现象,运用指代可以避免复杂的词语在句子中重复出现,使语句简洁连贯。在多轮口语对话中,使用代词指代实体可以提高沟通的效率,然而,对话中频繁出现的代词给计算机语言理解增加了难度,进而影响了机器生成回复的质量。该文提出通过消解代词提高对话生成质量,先通过端到端的共指消解模型识别出多轮对话中蕴含的表述同一实体的所有代词和名词短语,即指代簇(coreference clusters);然后使用两种不同的方法,利用指代簇信息增强对话模型: ①使用指代簇信息恢复问句的完整语义,以降低机器语言理解的难度; ②使用图卷积神经网络将指代簇信息编码融入对话生成模型,以提高机器理解对话的能力。该文所提的两个方法在RiSAWOZ公开数据集上进行了验证,实验结果表明,两个方法均可以显著提升对话生成的性能。
  • 朱帅,陈建文,朱明
    2022, 36(9): 159-168.
    摘要 (827) PDF (2776 KB) (1785)
    对话系统对上文信息使用不充分是当前制约多轮对话效果的主要因素,基于上文信息对用户当前输入进行改写是该问题的一种重要解决方法。改写任务的核心在于指代消解(pronoun resolution)和省略补全(ellipsisrecovery)。该文提出了一种基于BERT的指针网络(Span Prediction for Dialogue Rewrite,SPDR),该模型会预测用户当前轮次输入语句中所有token前面需要填充的内容,在上文中对应的片段(span)起始和结束的位置,来实现多轮对话改写;该文还提出了一种新的衡量改写结果的评价指标sEMr。相较于基于指针生成网络的模型,该模型在不损失效果的前提下推理速度提升接近100%,基于RoBERTa-wwm的SPDR模型在5项指标上均有明显提升。
  • 朱展标,黄沛杰,张业兴,刘树东,张华林,黄均曜,林丕源
    2022, 36(8): 118-126.
    摘要 (628) PDF (2130 KB) (990)
    意图识别和槽信息填充的联合模型将口语语言理解(Spoken Language Understanding,SLU)技术提升到了一个新的水平,但由于存在出现频率低或未见过的槽指称项(0-shot slot mentions),模型的序列标注性能受限,而且这些联合模型往往没有利用输入序列存在的语法知识信息。已有研究表明,序列标注任务可以通过引入依赖树结构,辅助推断序列标注中槽的存在。由于中文话语由一串字序列组成,在中文口语语言理解中,输入话语的字和槽信息是一一对应的,因而槽信息填充模型往往是字特征模型。基于词的依赖树结构无法直接应用于基于字特征的槽填充模型。为了解决字词之间的矛盾,该文提出了一种基于字模型的依赖引导槽填充模型(Dependency-guided Character-based Slot Filling model,DCSF),提供一种简洁的方法用于解决将词级依赖树结构引入中文字特征模型的冲突,同时通过对话语中词汇内部关系进行建模,保留了词级上下文信息和分词信息。在公共基准语料库SMP-ECDT和CrossWOZ上的实验结果表明,该模型优于比较模型,特别是在未见过的槽指称项和低资源情况下有很大的改进。
  • 马天宇,覃俊,刘晶,帖军,后琦
    2022, 36(8): 127-134.
    摘要 (892) PDF (3521 KB) (1261)
    口语理解是自然语言处理的一个重要内容,意图分类和槽填充是口语理解的两个基本子任务。最近的研究表明,共同学习这两项任务可以起到相互促进的作用。该文提出了一个基于BERT的意图分类联合模型,通过一个关联网络使得两个任务建立直接联系和共享信息,以此来提升任务效果。模型引入BERT来增强词向量的语义表示,有效解决了目前联合模型由于训练数据规模较小导致的泛化能力较差的问题。在ATIS和Snips数据集上的实验结果表明,该模型能有效提升意图分类和槽填充的性能。
  • 尹宝生,安鹏飞
    2022, 36(8): 135-143,153.
    摘要 (645) PDF (4814 KB) (1260)
    基于序列到序列模型的生成式文档摘要算法已经取得了良好的效果。鉴于中文N-gram蕴含着丰富的局部上下文信息,该文提出将N-gram信息整合到现有模型的神经框架NgramSum,即利用N-gram信息增强神经模型局部上下文语义感知能力。该框架以现有的神经模型为主干,从本地语料库提取N-gram信息,提出了一个局部上下文视野感知增强模块和一个门模块,并来分别对这些信息进行编码和聚合。在NLPCC 2017中文单文档摘要评测数据集上的实验结果表明: 该框架有效增强了基于LSTM、Transformer、预训练模型三种不同层次的序列到序列的强基线模型,其中ROUGE-1/2/L相较基线模型平均分别提高了2.76, 3.25, 3.10个百分点。进一步的实验和分析也证明了该框架在不同N-gram度量方面的鲁棒性。
  • 管梦雨,王中卿,李寿山,周国栋
    2022, 36(8): 144-153.
    摘要 (647) PDF (2581 KB) (845)
    现有的对话系统中存在着生成“好的”“我不知道”等无意义的安全回复问题。日常对话中,对话者通常围绕特定的主题进行讨论且每句话都有明显的情感和意图。因此该文提出了基于对话约束的回复生成模型,即在Seq2Seq模型的基础上,结合对对话的主题、情感、意图的识别。该方法对生成回复的主题、情感和意图进行约束,从而生成具有合理的情感和意图且与对话主题相关的回复。实验证明,该文提出的方法能有效提高生成回复的质量。
  • 曾碧卿,裴枫华,徐马一,丁美荣
    2022, 36(8): 154-162,174.
    摘要 (722) PDF (2979 KB) (941)
    段落级问题生成是指从给定的段落中生成一个或多个与之相关的问题。目前的研究主要使用序列到序列的神经网络最大程度地利用段落信息,但这种方法存在冗余信息干扰、无法聚焦重点句子的问题。针对上述问题,该文提出了一种基于双注意力的段落级问题生成模型。该模型首先对段落和答案所在句子分别使用注意力机制,然后利用门控机制动态地分配权重并融合上下文信息,最后利用改进的指针生成网络结合上下文向量和注意力分布来生成问题。实验结果表明,该模型在SQuAD数据集上比现有主流模型具有更高的性能。
  • 张虎,张颖,杨陟卓,钱揖丽,李茹
    2021, 35(9): 132-140.
    摘要 (799) PDF (2557 KB) (1710)
    机器阅读理解是自然语言处理领域中的一项重要研究任务,高考阅读理解自动答题是近年来阅读理解任务中的又一挑战。目前高考语文阅读理解任务中真题和模拟题的数量相对较少,基于深度学习的方法受到实验数据规模较小的限制,所得的实验结果相比传统方法无明显优势。基于此,该文探索了面向高考语文阅读理解的数据增强方法,结合传统的EDA数据增强思路提出了适应于高考阅读理解的EDA策略,针对阅读材料普遍较长的特征提出了基于滑动窗口的材料动态裁剪方式,围绕材料中不同句子的重要性差异明显的问题,提出了基于相似度计算的材料句质量评价方法。实验结果表明,三种方法均能提升高考题阅读理解自动答题的效果,答题准确率最高可提升5个百分点以上。
  • 石航,刘瑞芳,刘欣瑜,陈泓宇
    2021, 35(8): 127-134.
    摘要 (692) PDF (2001 KB) (1423)
    自动问题生成任务旨在给文章中的一段文本生成相应的自然语言的问句,该研究在问答系统和语音助手的对话系统中有重要作用,可以帮助它们启动对话和继续对话。目前的神经网络问题生成模型主要是将包含答案的句子或者整篇文章作为模型的输入,而这些方法存在语义表示不能很好地结合句子和文章信息的问题。因此该文提出多输入层次注意力序列到序列的问题生成网络,能更好地利用文章和答案上下文的两重信息。模型通过关注对答案更有价值的句子信息和全文更丰富的语义信息来生成高质量的问题。在公开数据集SQuAD上的问题生成对比实验表明,该方法在BLEU_4值上表现优越。通过训练好的问答系统来评估问题的可回答率,明显优于基准系统。
  • 吉娜烨,廖龙飞,闫燕勤,俞定国,张帆
    2021, 35(8): 135-144.
    摘要 (836) PDF (4313 KB) (1748)
    针对文字直播自动摘要的新闻稿存在背景信息缺乏、难以引起读者兴趣等不足,该文提出一种NBA赛事新闻的自动生成方法。采用该文提出的关键事件抽取算法从文字直播数据中抽取事件点、匹配突出关键事件的模板来生成新闻初稿,再从构建的NBA赛事知识图谱中提取背景信息和描述重点,自动生成最终的新闻稿。该文构建并公开的NBA赛事领域知识图谱,包含3个概念类、4种关系和27个属性,共有5 893个实体节点。对实验生成的新闻结果随机选取了50场赛事进行了主客观评测。评测结果表明,该文提出的融合知识图谱的新闻自动写作方法有效解决了背景信息缺乏和新闻要素嵌入问题,知识图谱的使用能明显提升所生成的新闻的质量,并可支持新闻的深度阅读。