共情对话任务在情感支持方面有着重要的作用,要求对话模型在生成流畅回复的同时体现对用户情感的共鸣。传统的共情对话工作往往更关注上下文级的粗粒度的情感信息,忽略话语级的情感意图信息,导致生成的回复与事实不符或共情效果不佳。为此,该文提出了一种基于细粒度知识选择的共情回复生成方法,该方法通过利用对话语句的情感类型分布来筛选外部常识知识,并使用注意力机制将选择后的知识、对话上下文和情感信息进行融合,从而引导回复生成。在EmpatheticDialogues数据集上的实验表明,与基线模型相比,该文所提出的模型在对话语句的情感预测准确率上提高了11.95%,回复的情感预测准确率提高了8.09%,Dist-1提高了51.5%,Dist-2提高了45.5%,能够使用更高质量的知识生成多样化的共情回复。

记忆遗忘、错误积累和上下文依赖是基于序列的图像描述生成任务目前面临的主要挑战,为减轻其影响并考虑语义和视觉嵌入之间的上下文依赖性,该文针对图像描述生成提出一种基于关系驱动的多模态嵌入塑形方法。该方法聚焦于正则化关系三元组(主语、谓语和宾语)中涉及的多模态嵌入空间结构,对每种模态的关系创建正三元组和负三元组。针对正三元组,其宾语和所有主语、谓语的加和之间距离应尽可能小,而负三元组的这种距离应尽可能大。基于这两个距离,通过设计一个三重损失来实现正则化,该三重损失随后通过多任务学习与图像描述生成模型的损失相结合。基于所提出的关系驱动多模态嵌入塑形方法,关系的语义和视觉嵌入之间联系得到显著加强。在Flickr30k和MSCOCO数据集上的实验结果表明,所提出的方法针对图像描述生成具有良好的性能改进。

会议纪要生成作为文本摘要任务的一个具体应用,旨在帮助人们快速从海量会议数据中获取关键信息,而当前的会议纪要生成方法存在着缺乏对会议整体内容语义把握和对会议结构信息关注的问题。该文针对这些问题提出了一个基于结构建模的抽取式会议纪要生成模型,通过提取会议文本的句子级粒度特征,利用句向量进行结构建模实现段落分割得到其结构信息,然后将这些结构信息用于抽取式会议纪要生成任务,并根据将抽取式文本摘要任务作为文本匹配任务的思想,对原文本和摘要结果的语义关系进行了学习,最终结合文本段落结构信息,帮助最终摘要结果性能的提升。同时,为了解决中文会议公开语料库缺乏的问题,该文构建了一个含有段落标注和摘要标注的中文会议语料库。实验表明,在中文会议文本上,相比于词向量,使用句向量表征的方式更有利于结构建模任务性能的提升,同时证明了会议结构信息的引入有利于提升会议纪要结果质量,表明了结合文本结构建模任务进行文本摘要任务研究的必要性。

序列到序列式的生成式文本摘要研究中一直存在噪声干扰,导致模型生成的摘要无法抓住重点信息,甚至会丢失信息;另一方面,模型又受到训练方式的影响,存在“曝光偏差”问题。经研究发现,在模型训练过程中引入文章关键短语和主题信息,可以有效帮助模型在生成摘要时获取文章的重要信息,基于此该文提出了一个基于关键短语和主题的生成式文本摘要模型。该模型在编码器端引入关键短语门控网络,在解码器端引入主题感知网络,同时加入强化学习方法,缓解传统有监督训练方式的缺陷。该模型在中文数据集LCSTS和英文数据集CNN/Daily Mail数据集上的ROUGE指标均优于前人的结果。进一步,通过消融实验验证各个组件的正向作用。

方面级抽象式文本摘要(Aspect-based Abstract Summarization, ABAS)是一项旨在为特定用户定制关注特定方面摘要的具有挑战性的新任务。该文提出了互补注意力记忆(Complementary Attentional Memory, CoAM)方法,通过记忆机制增强ABAS任务中的方面-上下文交互建模。该文将CoAM与摘要模型BART集成,实现特定方面与上下文特征更好的聚合,生成更高质量的摘要。在多个现有数据集上的实验结果表明,CoAM模型优于现有的包括大模型在内的基线模型,并具有跨领域的鲁棒泛化能力。为了检验CoAM模型在不同语言环境下的效果,该文构建了中文方面级抽象式文本摘要数据集CABAS,并在该数据集上进行了人工标注和模型评估,以推动中文精细化方面级文本摘要的发展。

现有的大型语言模型(Large Language Models,LLMs)文本生成方法在面对缺乏大规模标注数据的特定领域时,缺少可学习的源域数据,这使得LLMs在处理特定术语和专业知识时容易产生虚假相关性问题。为解决这一问题,该文提出了一种基于自提示因果推理增强的专家协作框架,通过建立领域知识提取模块,以挖掘LLMs固有的领域背景知识,并通过设计因果关系提取模块来增强LLMs的因果关系发现能力,进一步提高模型对因果关系信息的利用,从而有效减轻了跨域文本生成中的虚假相关性问题;同时通过训练多个解码头实现并行解码,以减少框架带来的额外时间开销。实验结果表明,该框架在问答任务中的LogiQA、CommonsenseQA和 MedQA数据集上的Acc值相较于Llama2-70b基准模型分别提高了16.57%、7.94%和16.32%。同时在HotpotQA数据集和其他6个低资源领域数据集上表现优异,证实了自提示因果推理在提高跨域文本生成准确性和减少虚假相关性方面的有效性。

随着电子商务的发展,人们需要从产品的评论中更加全面地了解产品信息,高质量的评论文本对于客户黏度和社会舆论发挥着重要作用。传统的中文文本生成模型表现良好,却不能有效结合先验知识并根据条件情感输入生成对应情感极性的文本。该文提出一种条件评论文本生成模型,将预训练语言模型与生成对抗网络结合起来,利用预训练模型较好的语言理解能力学习真实文本中概率分布。该文通过在生成器层标准化中引入条件层标准化,达到根据输入情感标签自动生成对应情感极性文本的目的。在电商评论数据集上的实验表明,该模型相较于传统的Seq2Seq模型和SeqGAN模型,不仅引入条件情感输入,并且生成效果更优、文本质量更高。

查询式文本摘要生成是一项根据给定文档和查询,生成与查询相关摘要的任务。该文将查询式摘要生成任务转换为阅读理解任务,将文档与查询进行交互,建立了基于交叉多头注意力的Transformer架构的多源指针生成式摘要新模型。该模型通过BERT预训练模型,建立文档、查询和摘要的嵌入表示,再在Transformer架构中,通过交叉的多头注意力机制,建立查询与文档的交互深层语义表示。在此基础上,使用多源指针生成网络,使生成的摘要与文档和查询内容具有语义一致性和表达连贯性。最后,在查询式文本摘要生成数据集Debatepedia和Querysum-data上,与已有方法进行对比实验,实验结果验证了该文摘要生成模型CMAT-PG的有效性。

反馈评语生成是近年来自然语言处理研究的一个热点任务,旨在为语言学习者的作文提供纠偏及解释性的评价,以帮助学习者理解并内化语言规则,从而提高写作水平。现有研究主要聚焦于单一语言的反馈评语生成,忽略了非母语学习者可能面临的理解障碍,以及评语中存在陌生语言知识等问题。该文提出了一种新的跨语言反馈评语生成(CLFCG)任务,其目的是为汉语母语者学习英语提供汉语的反馈评语。首先,通过构建首个英-汉跨语言反馈评语数据集,探索了大语言模型(如GPT-4)和预训练语言模型(如mBART、mT5)在该任务上的性能,并针对预训练语言模型,分析了修正编辑、线索词语和语法术语等附加信息对反馈评语生成效果的影响。其次,该文提出了一种基于大语言模型的评估方法,以更加准确地评估反馈评语生成效果。实验结果显示,基于微调的预训练语言模型能够更好地对齐人类教师的评语,但其生成的准确性略逊于采用少样本学习策略的GPT-4模型。最后,该文对实验结果进行了深入讨论和分析,以期为跨语言反馈评语生成任务提供更多思路和见解。

现有的低资源生成模型大多使用预训练的词嵌入来解决目标领域数据稀疏问题,但这种方法难以捕捉不同领域间的潜层结构信息,经常忽略潜在主题对捕捉关键信息的重要作用。为了解决这些问题,该文联合神经主题模型提取潜在主题,从而为生成的语句选择提供全局特征,并结合词嵌入和主题嵌入,增强模型对潜在主题信息的利用,然后通过对不同领域的主题对齐,捕捉相似潜层主题结构表示。在文本生成不同任务的数据集上进行的大量实验表明,该模型在摘要生成任务的六个低资源领域数据集、CNN/DailyMail数据集和SAMsum数据集上的ROUGE-1均值相较于基准模型分别提高了0.92%、3.71%和1.0%;在对话生成任务中,该模型在ESConv数据集上的各项指标也表现出良好的结果。

公文在政府和企业机构中扮演着重要角色,其撰写严格遵循特定的格式和规范,且内容必须准确、清晰、逻辑严谨。然而,传统的公文撰写过程耗时烦琐,需要经验丰富的写作人员才能胜任。目前,公文写作数据集稀缺,且尚无大模型公文生成的研究。因此,该文介绍了一种基于大模型的指令微调方法,旨在提高公文写作质量和效率。具体来说,我们基于少量真实公文样本,结合公文专家的指导,设计了提示模板,引导 ChatGPT 生成了625对样本实例,并将这些实例构建成面向公文写作任务的指令数据集,解决了当前公文领域缺乏写作任务指令数据集的问题。随后,我们使用这一指令数据集对大模型进行了参数高效微调,并为公文写作评测设计了评估标准。实验结果表明,对四个基座模型进行微调,性能得到显著提升,在百分制人工评估标准下,基座模型Qwen-1.8B-Chat经LoRA微调后平均得分从74.32分提升到84.64分,证明了大模型经过领域数据集指令微调后能有效提高公文写作质量。

近年来,多意图口语理解(SLU)已经成为自然语言处理领域的研究热点。当前先进的多意图SLU模型采用图的交互式框架进行联合多意图识别和槽填充,能够有效地捕捉到词元级槽位填充任务的细粒度意图信息,取得了良好的性能。但是,它忽略了联合作用下的意图所包含的丰富信息,没有充分利用多意图信息对槽填充任务进行指引。为此,该文提出了一种基于多意图融合框架(MIFF)的联合多意图识别和槽填充框架,使得模型能够在准确地识别不同意图的同时,利用意图信息为槽填充任务提供更充分的指引。在MixATIS和MixSNIPS两个公共数据集上进行了实验,结果表明,该文所提模型在性能和效率方面均超过了同期最先进的方法,同时能够有效从单领域数据集泛化到多领域数据集上。

排比句是一种常用的修辞手法,其使用具有增强气势、强调突出、层次清晰的效果。排比句生成对于文本生成具有重要意义,能够丰富文本生成的风格和形式,提升教育、广告和文学创作的质量,但目前暂无生成模型和公开的排比句语料库。为此,该文在收集和构建排比句数据集的基础上,结合排比句具有的语言学特征,提出了一种基于词性对齐与依存关系的中文排比句生成模型,称为CPG-PosDep。模型从语言学出发,首先用设定的分词、句内词序和句间位置三种特殊符号及随机采样策略对排比句进行全局标识,并结合改进的Transformer注意力机制学习排比句的词性对齐特征,然后使用BERT和注意模块将给定分句的依存关系信息融入模型中,融合生成排比句。在排比句数据集上的实验表明,模型能够生成与给定分句在对应位置词性一致、依存关系相同的通顺分句,相比使用现有对联或诗歌生成模型生成的排比句,该文所提模型生成的排比句质量更具优势。

开放式自动故事生成旨在通过输入故事的开头、大纲、主线等,得到具有一致性、连贯性和逻辑性的故事。现有的方法想要提升生成故事的质量,往往需要大量训练数据和更多参数的模型。针对以上问题,该文利用提示学习在零样本与少样本场景下的优势,借助外部常识推理知识,提出了一种融合提示学习的故事生成方法。该方法将故事生成分为三个阶段: 输入故事的开头,常识推理模型生成可能的事件;根据类型不同,将事件填入问题模板中,构建引导模型生成合理回答的问题;问答模型产生对应问题的答案,并选择困惑度最小的作为故事下文。重复上述过程,最终生成完整的故事。自动评测与人工评测结果表明,与基线模型相比,该文提出的方法能够生成更连贯、具体和更有逻辑的故事。

智能命题是自然语言处理与智能教育交叉领域的一项重要任务。现有问题生成方法过于聚焦材料文本细节,而忽略了对知识点本身的考察。该文提出了一种基于大语言模型与检索增强技术的学科试题生成方法。该方法设计了明确的指令提问方式,并融合少样本语境学习与检索得到的教材相关信息,以激发大语言模型的潜力,让生成试题在风格和难度等方面符合实用需求。两种题型的试题生成结果表明,该文方法在自动评价和人工评价中较基线模型取得了更高的可用率和多样性,直接可用率达到了人类专家的77.5%,且高质量试题的比例略超过人工结果,基本满足大规模试题生成的应用需求。

数学文字题是一段能反映数学等式潜在逻辑的叙述性文本。成功的数学问题生成在语言生成和教育领域都具有广阔的应用前景。前人的工作大多需要人工标注的模板或关键词作为输入,且未考虑数学表达式本身的特点。该文提出了一种多任务联合训练的问题文本生成模型。作者设计了三个辅助任务,包括数字间关系抽取、数值排序和片段替换预测。它们与生成目标联合训练,用以监督解码器的学习,增强模型对运算逻辑和问题条件的感知能力。实验证明,该文所提方法能有效提升生成的数学文字题的质量。

该文提出了文本润色的任务,其目标是在保留输入句子原本语义的前提下生成表达更为优美的句子。文本润色在现实应用中具有很大价值,是现代智能写作辅助系统的重要组成部分。但是现有文献对文本润色的研究却鲜有涉及,在这个重要方向上的进一步研究需要更为正式的任务定义、基准数据集和强大的基线模型。该文以中文成语润色为例对文本润色任务进行了研究: 首先,将文本润色任务形式化为一个上下文相关的序列到序列的文本生成问题;其次,为了解决任务数据标注困难问题,提出了一种基于人机协作的半自动数据构建方法,并使用该方法创建了一个包括150万条数据的大规模中文文本润色数据集;最后,针对文本润色任务提出了两类特定任务的预训练目标,并使用这些目标训练了一系列基于Transformer的预训练语言模型作为文本润色任务的基线模型。使用基线模型在创建的文本润色任务数据集上进行了广泛的实验,得到了一些重要的发现与结论。人工评测则进一步展示了该基线模型具有较好的文本润色能力。

现有的图像描述生成方法和结果主要侧重于识别图像中已有的图像内容及其关系,而无法生成具有细粒度背景知识的描述。为克服传统图像描述模型时不能描述图片中深层次语义的问题,一方面,该文提出了一种基于目标检测和知识增强的图像描述生成方法,首先在目标检测阶段,提出了一种融合多维度信息的目标分类检测器(Fusion Target Classification Detector,FTCD),通过该检测器获得图中的人脸、商品及物体等目标的标签;其次,引入知识图谱,利用目标分类检测器得到的目标标签在知识图谱中查询相关知识;最后,目标的标签集合和相关知识共同送入模型进行编码;在模型的解码端引入注意力机制,用于引导模型选取合适的信息后生成图像描述。另一方面,针对MSCOCO数据集中的人工描述缺乏常识知识的问题,该文提出一种引入知识图谱的评测指标SPICE-K,SPICE-K可以评价具有常识知识的图像描述。实验结果表明,与基准LBPF模型相比,该文提出的方法有1%的准确率提升。实验分析表明,与基准模型相比,该文方法的性能提升主要来自于引入知识图谱和该文提出的目标分类检测器。

对早期经典的诠释中的引用进行手工标记需要耗费大量时间与人力成本,因此找到一种自动化的引用查找方法非常重要。以预训练语言模型为代表的自然语言处理技术的发展提升了对于文本处理和理解的能力。据此,该文提出多种利用专家知识或深度学习语义理解能力的无监督基线方法来自动查找古代思想家著作中对早期经典的引用。为了验证该文提出的方法的效果并推动自然语言处理技术在数字人文领域的应用,该文以宋代的理学家二程(程颢、程颐)对早期儒家经典的引用为例进行研究,并构建和发布相应的引用查找数据集^①。实验表明,该文提出方法基于短句的引用探测ROC-AUC值达到了87.83％。基于段落的引用探测ROC-AUC值达到了91.02％。

复述生成技术是自然语言处理领域重要的研究方向,具有广泛的应用场景。目前的预训练模型能够很好地从文本中获取丰富的语义信息,但这些模型生成的复述句在语法结构上缺乏多样性。为解决上述问题,该文对比了不同预训练模型在复述生成任务上的效果,选择UniLM预训练模型作为基础模型,并在此基础上提出了新的句子复述生成方法。首先提出了一种构建句法模板的方法,在不改变模板句的句法结构的前提下,使用特殊字符替换模板句中相关词性的词,同时提出编辑向量的方法用于增强预训练模型。实验结果表明,在Quora和ParaNMT-small数据集上,该文提出的模型在自动评价和人工评价指标上均有明显提升。

视觉故事生成任务是为一组图像序列生成具有表现力和连贯性的、能准确描述所涉及视觉内容的语句段落,是当前计算机视觉和自然语言处理交叉领域中一个有趣而又快速发展的多模态研究方向。随着预训练模型在各种下游任务的成功,基于预训练模型的视觉故事生成算法也被广泛研究。但因为数据模态的差异和语义鸿沟的存在,预训练模型在微调学习过程中会产生灾难性遗忘问题。如何协调视觉和语言两种模态数据的预训练模型,是当前多模态预训练模型研究的主要目标之一。该文提出基于预训练模型自适应匹配的视觉故事生成算法,一方面综合挖掘图像流的视觉、关系、序列等多样化互补信息,弥补语义差异;同时,另一方面用适应性损失对图文两种模态数据进行特征对齐,以及对图像流数据进行连续信息对齐,取得了较好的效果。算法在目前已公开的视觉故事生成数据集(VIST)上与近年的先进算法进行实验比较。评测结果表明,该文算法在生成故事的图文相关性、文本多样性、内容逻辑连贯性等指标上取得了具有竞争力的结果。

中国古典诗歌是一种语言凝练、语义丰富的文学艺术,它的创作因素有许多方面,修辞手法是其中一个最显著的特征之一,诗人在进行创作时通常会使用修辞手法来增强诗歌的感染力和表现力。该文致力于构建具有修辞手法创作能力的诗歌生成模型,以此来提升生成诗歌的多样性、趣味性和新颖性,从而增加读者阅读过程中的审美体验。该文首先通过人工标注、词句特征提取、训练基于BERT的修辞分类器的方式构建一个修辞诗句数据库,然后将每首诗按照一定的方式序列化成一个长句子,并以此来训练语言模型得到诗歌生成模型。自动评测和人工评测结果表明,模型可以生成具有特定修辞手法的诗歌,且生成诗歌的质量相比基线有显著提升。

机器阅读理解任务要求机器根据篇章文本回答相关问题。该文以抽取式机器阅读理解为例,重点考察当问题的线索要素与答案在篇章文本中跨越多个标点句时的阅读理解问题。该文将小句复合体结构自动分析任务与机器阅读理解任务融合,利用小句复合体中跨标点句话头-话体共享关系,来降低机器阅读理解任务的难度;并设计与实现了基于小句复合体的机器阅读理解模型。实验结果表明,在问题线索要素与答案跨越多个标点句时,答案抽取的精确匹配率(EM)相对于基准模型提升了3.49%,模型整体的精确匹配率提升了3.26%。

使用多任务训练的自然语言生成模型仅使用一个模型即可完成各种不同的自然语言生成任务。但这种所有任务共享所有参数的模型,无法清楚地知道模型的每一部分参数学到了什么技能。为了根据不同的任务选择激活不同的模型参数,该文提出了一种基于稀疏激活的通用自然语言生成模型(SkillNet-NLG)。与传统的稠密模型在执行任务时激活所有的模型参数不同,SkillNet-NLG在执行任务时,首先依据任务预先定义一组完成任务所需要的技能,然后根据定义的技能选择性地激活与技能相关的模型参数。这种模型设计使其能够通过正确地选择与任务相关的技能来高效地学习新的任务。在中文自然语言生成任务上的实验结果表明,首先,在仅使用一个模型的情况下,SkillNet-NLG在常见的五个自然语言生成任务中的四个上面超过了当前最好方法;其次,SkillNet-NLG的表现优于另外两类多任务基线模型(稠密模型和混合专家模型),并取得了与针对特定任务单独训练的模型相当的性能;最后,当应用到新任务上时,SkillNet-NLG相较于所有基线方法取得了更好的结果,验证了该文所提出的方法对于学习新任务的有效性。

概念图能够直观地展示概念间的相互关系,为教师提供概念相关性的建议,因而成为教师进行个性化教学的重要工具。然而,如何生成能反映学生学习能力并有效指导教师教学的概念图是目前概念图研究一大难题。该文提出了一种新的自动概念图生成模型C-IK2。C-IK2模型考虑学生的不同学习特点和不同概念理解程度,通过Birch算法对学生概念掌握程度特征进行聚类处理得到学生分簇。同时该模型考虑概念图具有层次结构,针对传统LPG算法在处理层次结构方面的不足进行了改进。通过融合改进的LPG算法,同时改进K2算法的有效输入序列,最终生成具有不同学生学习特征的层次结构概念图。该文使用两个标准数据集进行实验,与现有基于序列的最新改进K2算法进行对比,C-IK2模型在图准确度上提高了7.7%。与现有基于评分的贝叶斯网络结构学习方法相比,C-IK2模型的图结构质量提高了3.1%。结果表明,C-IK2模型能有效区分学生对概念的理解程度,生成反映理解程度的层次结构概念图,从而帮助教师进行针对性地个性化教学。

参考规范是指专业知识点的相关文本描述,参考规范指导下的文本生成任务要求自动生成的文本满足与参考规范的语义相关性和知识点匹配性,是自然语言处理领域中的困难问题。相关工作主要控制生成文本的情感、态度等通用性质,无法满足专业层面的复杂控制需求。为此,该文提出了基于对抗架构的专业文本生成模型(PT-GAN),采用多个独立的生成器分别生成不同知识点匹配程度的文本,各生成器均为自编码器结构,其中编码器用于提取参考规范文本的知识点语义特征,解码器用于生成文本;采用两个判别器同时对生成文本的语言规范和专业知识进行指导,其中连贯性判别器用于指导语言规范,专业性判别器用于控制专业层面属性。在多个国家级专业考试真实数据集上进行实验,结果显示该文模型在语言连贯性、与参考规范的语义相关性和知识点匹配性上均有明显提升,更符合该场景下的文本生成需求。

针对当前中文NL2SQL (Natural language to SQL)监督学习中需要大量标注数据问题,该文提出基于对偶学习的方式在少量训练数据集上进行弱监督学习,将中文查询生成SQL语句。该文同时使用两个任务来训练自然语言转化到SQL,再从SQL转化到自然语言,让模型学习到任务之间的对偶约束性,获取更多相关的语义信息。同时在训练时使用不同比例带有无标签的数据进行训练,验证对偶学习在NL2SQL解析任务上的有效性。实验表明,在不同中英文数据集ATIS、GEO以及TableQA中,本文模型与基准模型Seq2Seq、Seq2Tree、Seq2SQL、以及-dual等相比,百分比准确率至少增加2.1%,其中在中文TableQA数据集上采用对偶学习执行准确率(Execution Accuracy)至少提升5.3%,只使用60%的标签数据就能取得和监督学习使用90%的标签数据相似的效果。

相似案例匹配是智慧司法中的重要任务,其通过对比两篇案例的语义内容判别二者的相似程度,能够应用于类案检索、类案类判等。相对于普通文本,法律文书不仅篇幅更长,文本之间的区别也更微妙,传统深度匹配模型难以取得理想效果。为了解决上述问题,该文根据文书描写规律截取文书文本,并提出一种融合案件要素的方法来提高相似案件的匹配性能。具体来说,该文以民间借贷案件为应用场景,首先基于法律知识制定了6种民间借贷案件要素,利用正则表达式从法律文书中抽取案件要素,并形成词独热形式的案件要素表征;然后,对法律文本倒序截取,并通过BERT编码得到法律文本表征,解决法律文本的长距离依赖问题;接着使用线性网络融合法律文本表征与案件要素表征,并使用BiLSTM对融合的表征进行高维度化表示;最后通过孪生网络框架构建向量表征相似性矩阵,通过语义交互与向量池化进行最终的相似度判断。实验结果表明,该文模型能有效处理长文本并建模法律文本的细微差异,在CAIL2019-SCM公共数据集上优于基线模型。

该文针对Cail2020法律多跳机器阅读理解数据集进行研究,提出了TransformerG,一个基于不同层级的实体图结构与文本信息的注意力机制融合的多跳阅读理解模型。该模型有效地结合了段落中问题节点、问题的实体节点、句子节点、句中的实体节点的特征与文本信息的特征,从而预测答案片段。此外,该文提出了一种句子级滑动窗口的方法,有效解决在预训练模型中文本过长导致的截断问题。利用TransformerG模型参加中国中文信息学会计算语言学专委会(CIPS-CL)和最高人民法院信息中心举办的“中国法研杯”司法人工智能挑战赛机器阅读理解赛道,取得了第2名的成绩。

根据视频内容自动生成文本序列的密集描述生成融合了计算机视觉与自然语言处理技术。现有密集描述生成方法多强调视频中的视觉与运动信息而忽略了其中的音频信息,关注事件的局部信息或简单的事件级上下文信息而忽略了事件间的时序结构和语义关系。为此,该文提出一种基于多模态特征的视频密集描述生成方法。该方法首先在动作提议生成阶段使用Timeception层作为基础模块以更好适应动作片段时间跨度的多样性,其次在动作提议生成和描述生成两阶段均利用音频特征增强提议和描述生成效果,最后使用时序语义关系模块建模事件间的时序结构和语义信息以进一步增强描述生成的准确性。特别地,该文还构建了一个基于学习场景的视频密集描述数据集SDVC以探究该文所提方法在学习场景现实应用中的有效性。在ActivityNet Captions和SDVC数据集上的实验结果表明,动作提议生成AUC值分别提升0.8%和6.7%;使用真实动作提议进行描述生成时,BLEU_3值分别提升1.4%和4.7%,BLEU_4值分别提升0.9%和5.3%;使用生成的动作提议进行描述生成时,SDVC数据集BLEU_3、BLEU_4值分别提升2.3%和2.2%。