可控情感描述生成技术要求计算机能够感知和理解人类的情感,根据一张图像自动生成与视觉语义关联且情感风格可控的描述文本,是文本生成领域的关键研究问题。现有的综述主要聚焦于风格化情感描述的深度学习模型架构的归纳,缺乏讨论在情感描述数据匮乏的条件下,如何精准对齐和融合复杂的图像视觉信息和丰富的文本情感风格特征,增强多种情感描述风格关联切换的可控性等关键问题,且并未总结大规模语言模型环境下的可控情感描述生成方法。因此,该文梳理了该任务的研究挑战,从有监督学习、无监督学习和半监督学习的角度归纳现有工作,并讨论了基于大模型的方法及发展趋势,最后总结了常用的数据集、评价指标并展望了未来的发展方向。

大语言模型对齐技术旨在确保模型在能力、行为和价值观方面与人类的长远利益保持一致。该文系统且全面地回顾了大语言模型对齐技术的发展历程,从全新的视角对这些技术进行了整理和分类,并将其发展脉络总结为三大类别: 从人类偏好中模仿学习,从反馈信号中归纳学习,以及通过思考和沟通实现自主对齐。针对每一项技术的特点、优势和挑战,该文进行了详细阐述和总结。同时,该文还概述了用于评估大模型对齐技术表现的评测方法,讨论了当前大语言模型对齐技术所面临的挑战,并探讨了未来实现更完善对齐技术的可能发展方向,以推动对齐技术的进一步发展。

标准的机器翻译通常需要等待全部源语言输入后再开始翻译,这种离线交互模式难以满足同声传译、国际会议、跨国旅游等实时场景中的翻译需求。与之相比,实时翻译要求模型在接收源语言输入的同时生成目标语言输出,从而在低延时下完成翻译,因此逐渐受到研究人员的广泛关注。然而,由于需要决策何时开始翻译并基于不完整的输入进行翻译,实时翻译在性能上面临诸多挑战。近年来,许多研究致力于构建低延时高质量的实时翻译模型,但仍然缺少对于现有方法和研究趋势的系统梳理。该文不仅从不同应用场景出发,对现有实时翻译方法进行了详细分类和总结分析,还对实时翻译研究的发展趋势进行了展望,并系统性地整理了相关文献,为研究人员提供了快速了解该领域最新动态和未来发展方向的参考。

构建个性化和拟人化的模型有助于与用户建立深层次的情感连接,并且在网络社交等互动性场景中具有重要的应用价值。基于语言模型的角色扮演为满足上述需求提供了新思路,并引发了大量的关注和探索,系统地整理和归纳现有研究有助于研究者全面了解该领域的发展动态。然而,当前的综述缺少从个体到群体的宏观视角梳理,且未能展示角色扮演任务在应用层面的广泛发展,导致其无法全面呈现此领域的发展趋势。因此,该文从全新的角度对该领域进行综述: 从个体角色扮演到群体角色扮演的发展脉络,并分析了这一转变所带来的变化和挑战,总结了传统角色对话生成与大语言模型角色扮演在个体角色扮演中的异同及原因。同时,该文总结了传统角色对话生成、个体角色扮演、群体角色扮演在评估方式上的变化及原因,展望了未来的研究方向。

近年来,人工智能技术的不断突破极大地推动了可控文本生成领域的发展,其中文本风格迁移研究作为核心技术的代表,受到学术界和工业界的广泛关注。该文梳理了近年来文本风格迁移领域的发展脉络,首先给出了文本风格迁移的定义及其面临的挑战,从应用场景、目的需求两个视角详细阐述了该领域四大类型任务,并从数据来源、标签及数据规模三方面介绍了该领域常用平行数据集及非平行数据集。此外,该文从数据增强、词汇约束解码、解纠缠、非解缠、交叉投影、伪平行语料、其他特殊策略等七个层面对现有研究方法进行了对比并重点分析了各类方法的实现机制、优缺点及其性能,随后从风格迁移准确率、内容保留度及语言困惑度三个视角归纳了文本风格迁移领域的评价指标并剖析了其评价实现原理。最后,该文展望了文本风格迁移领域的未来发展趋势并进行了总结。

信息传播预测旨在预测信息在用户网络中的演化趋势,对舆情管控、市场营销、定向广告等应用具有重要意义。传统的信息传播预测方法依赖于特定的传播模型,这些模型的预测性能和通用性较差。近年来,深度学习技术迅速发展,得益于其对序列、网络、文本等数据强大的表征能力,基于深度学习的信息传播预测研究显著提高了预测的性能。然而,当前关于信息传播预测的综述都是针对传统传播预测方法或流行度预测展开的。因此,该文着重对当前基于深度学习的信息传播微观预测技术进行了总结、梳理和归纳。根据模型挖掘的特征类型,将其划分为基于传播路径的方法以及融合社会关系和信息内容的方法。此外,对信息传播微观预测中常用的数据集和评估指标进行了归纳总结。最后,该文对当前研究现状进行了总结,分析了当前基于深度学习的信息传播微观预测研究中存在的普遍性问题,并对未来可能的研究趋势进行了展望。

近年来,大语言模型成为人工智能领域非常受关注的技术,引发了自然语言处理领域新的研究范式。在大语言模型训练实践中,参数微调是其中非常重要的一个环节,它允许用户在资源受限条件下,通过调整少部分参数来提升模型理解用户指令、解决下游任务的能力。该文全面回顾了2019—2024年间50余种主要的大语言模型微调方法,从全新的角度进行了系统性的整理和概括,分为全参数微调、部分参数微调、新增参数微调和无参数微调方法,对每种方法的原理、微调位置及方法特点作了总结归纳和比较;接着,从计算的视角出发,着重分析比较了各类方法的参数量、内存消耗和计算量;最后,基于该文的微调方法调研及相关的参数微调实践,对大语言模型微调策略给出建议,以促进该领域的发展。

从传统的纸带机到当今大语言模型时代,自动文本摘要技术发展经历了多次质的飞跃并不断提升。但在中文摘要方面,由于其语言特点及叙述方式,机器生成的摘要难以与人工撰写的相媲美。如今,众多国产开源大模型均加强了对中文语料的训练并展示出较为优秀的成果。为了评估这些开源大模型在中文摘要任务上的实际表现,该文筛选ChatGLM2-6B、Baichuan2-7B和InternLM-7B等中文大模型作为研究对象,在中文摘要数据集上采用不同提示词生成零样本和少样本摘要,通过自动评估和人工比对的方法详细分析了它们在自动文本摘要任务上的表现及其不足之处。评估结果表明,ChatGLM2-6B和Baichuan2-7B通过零样本的方法通常能够总结出语句通顺叙述详尽的摘要,但在凝练程度上仍有不足;而少样本的方法可以使大模型生成更为精炼的摘要,但对重点信息的把握程度明显下降。此外,大模型也存在陷入重复、出现幻觉、与事实矛盾等问题。

语义是自然语言理解的核心研究对象,让机器掌握语义有多种途径,因此产生了不同的语义表示方法。但是,这些不同的途径之间往往缺乏联系,分别散落于不同的研究领域和研究任务中,如知识库问答中的查询图和SparQL、表格问答中的SQL、句子语义分析中的框架语义和AMR图等。虽然形式相近,但相关研究却缺乏协同。随着研究深入,语义表示之间缺少对比、具体任务中语义表示难以选择且性能差异大等缺点也显露出来。为了缓解这个问题,该文综述了常见于各类任务中的语义表示,并以世界和语言的关系为主线将它们重新划分为“外延世界语义表示”和“语言内部语义表示”两大类。总结了前者的技术研究热点及新型语义表示的设计和对比方法,并简单探讨了近期围绕后者是否真正含有语义的辩论。最后,该文综述了结合外延和内部两类语义表示的研究,发现这类方法有较强潜力。

大型语言模型(Large Language Models,LLMs)已在多个领域受到广泛关注,并取得了令人瞩目的成绩。将LLMs应用于医学领域,如辅助医疗诊断、影像报告生成等,在人工智能和临床医学中都是很有前景的研究方向。由于中外医生对患者进行医疗诊断的过程存在差异,包括治疗方式、用药习惯和用药剂量等,特别是在传统中医领域,因此,为了更好地满足中文医疗领域的需求,构建大规模真实的中文医学数据集,开发中文医疗大模型是十分重要的。该文从医疗问诊、医学影像、心理健康三个方面对当前中文医疗大模型进行了概述,并介绍了当前中文医疗大模型已有的评测基准,阐述了当前中文医疗大模型面临的挑战,如幻觉、价值对齐等。未来的研究将致力于解决这些问题,并扩展医疗大模型的应用场景。

可控文本生成任务是指生成符合语法规则和语义需求,且满足给定约束的自然语言文本,具有重要应用价值。如何将约束嵌入到隐空间,从而有效控制离散的词汇生成过程是十分困难的,特别是在复杂应用场景中: 不仅需要控制文本内容,还要求生成的长文本形式多样、语言灵活以及逻辑合理等,这使得可控文本生成任务更具挑战性且难以评估。近年来,数据驱动的神经方法得到了广泛应用,特别是大规模预训练语言模型大幅度提升了生成文本质量。该文综述这些生成方法中的代表性技术架构和模型,讨论文本生成领域定性和定量评价指标,以及相关数据集;针对可控文本生成任务的文本多样性和句子间语义一致性等高层次需求,重点讨论相关技术前沿进展,分析其理论依据和技术优势;最后总结可控文本生成任务仍然面临的挑战和未来发展方向。

事件因果关系是一类重要的逻辑关系,其揭示了事件发展的动因与规律。通过自然语言处理技术对事件之间蕴含的因果关系进行识别,能够帮助形成事件因果知识库,进而促进诸如事件预测、智能问答等下游任务性能提升与可解释性增强,具有重要理论与实践价值。基于此,该文围绕事件因果关系识别与应用展开综述。首先,介绍文本中事件因果关系、因果关系识别等基本概念与任务定义,明确研究范畴;随后,总结归纳因果关系识别任务常用数据集与评测指标,并对典型评测数据集进行探索分析,进而充分挖掘任务固有难点;然后,按照基于规则挖掘、基于特征工程和基于深度学习三个类别对因果关系识别相关模型与方法进行划分,并给出系统阐释、对比和总结,并对事件因果关系支撑的下游应用场景与方法进行了概述,进一步说明了事件因果关系的重要应用价值;最后,针对文本中事件因果关系识别任务的现有挑战和未来技术方向进行了讨论与展望。

实体链接旨在将文本中的实体指称映射到知识库中相应的实体,是知识图谱问答、智能推荐等下游任务的基础。近年来,深度神经网络和预训练语言模型的快速发展为实体链接方法研究提供了坚实基础,并取得了显著性能提升。该文对近期实体链接模型与方法进行了系统性的综述,主要从四个方面进行: 第一,介绍实体链接的一般框架,包括候选实体生成、候选实体排序和不可链接指称预测;第二,分析低资源实体链接研究现状,包括跨语言迁移方法和跨领域迁移方法;第三,探讨面向特定领域的实体链接研究方法,重点介绍生物医学和社交媒体领域;第四,简述多模态实体链接相关成果。最后,该文分析了目前实体链接方法面临的技术挑战,并展望了未来的研究趋势。

机器音译是基于语音相似性自动将文本从一种语言转换为另一种语言的过程,其是机器翻译的一个子任务,侧重于语音信息的翻译。音译后可知道源单词在另一种语言中的发音,使不熟悉源语言的人更容易理解该语言,有益于消除语言和拼写障碍。机器音译在多语言文本处理、语料库对齐、信息抽取等自然语言应用中发挥着重要作用。该文阐述了目前机器音译任务中存在的挑战,对主要的音译方法进行了剖析、分类和整理,对音译数据集进行了罗列汇总,并列出了常用的音译效果评价指标,最后对该领域目前存在的问题进行了说明,并对音译学的未来进行了展望。该文旨在为进入该领域的新人提供快速的入门指南,或供其他研究者参考。

神经机器翻译(NMT)模型通常使用双语数据进行监督训练,而构建大规模双语数据集是一个巨大挑战。相比之下,大部分语言的单语数据集较为容易获取。近年来,预训练模型(PTM)能够在海量的单语数据上进行训练,从而得到通用表示知识,来帮助下游任务取得显著的性能提升。目前基于预训练的神经机器翻译(PTNMT)在受限资源数据集上已被广泛验证,但如何高效地在高资源NMT模型中利用PTM仍亟待研究。该文致力于对PTNMT的现状和相关问题进行系统性的整理和分析,从引入PTM的预训练方法、使用策略以及特定任务等角度对PTNMT方法进行详细的分类,并对PTNMT方法解决的问题进行总结,最后对PTNMT的研究进行展望。

表格理解是指通过计算机对广泛存在于互联网、垂直领域的表格进行自动识别、解析和应用的过程。表格可大致分为关系型表格和非关系型表格。前者类似关系数据库表格,具有结构固定、机器易解析等特点,其研究历史由来已久。后者通常布局多变,语法灵活,具有更明显的语言特性,这也导致计算机在解析和应用非关系型表格时面临着极大挑战。非关系型表格理解是自然语言和计算机视觉多模态交叉的重要新兴领域之一。随着近年来深度学习技术的普及应用,非关系型表格在表格识别、语义分析、创新应用几个方向得到了长足发展。该文介绍了非关系型表格的结构特点,阐述了其在研究过程中面临的独特挑战,然后从表格识别、语义分析、创新应用三个研究方向简要介绍了近年来此领域的发展,归纳了相关数据集,最后总结了目前非关系型表格理解领域亟需解决的问题,展望了未来研究方向。

表格问答通过自然语言问句直接与表格数据进行交互并得到答案,是智能问答的主要形式之一。近年来,研究人员利用以语义解析为主的技术在该领域开展了深入研究。该文从不同表格类型分类及其问答任务问题定义出发,将表格问答细分为单表单轮、多表单轮、多表多轮式问答三种任务,并系统介绍了各类表格问答任务的数据集及其代表性方法。其次,该文总结了当前主流表格预训练模型的数据构造、输入编码以及预训练目标。最后,探讨当前工作的优势与不足,并分析了未来表格问答的前景与挑战。

句子级语义分析是自然语言处理(NLP)的核心任务,面临复杂语义的表示问题。抽象语义表示(AMR)突破浅层局限,实现了领域无关的整句通用语义表示,具备准确表征句子完整语义的能力。因为AMR解析效果会影响下游NLP任务的表现,所以解析方法成为近年的国内外研究热点。由于时效性因素,既有AMR综述未涉及新涌现的解析方法,亟需深度聚焦其前沿文献。该文首先采用CiteSpace工具分析了AMR的总体研究情况。相比英文AMR解析研究,中文AMR解析研究成果数量相对较少,尚有较大的发展空间。进而分析了AMR语料库发展和AMR解析面临的概念和概念关系识别、对齐以及融入结构信息等问题。根据不同的解析策略将解析方法分为4类,以问题为驱动,剖析了各类AMR解析方法的演进。最后,选择21个英文AMR解析器、7个中文AMR解析器,比较分析Smatch等各项实验指标。归纳实验结果发现,现有模型在学习复杂多语义关系方面亟待加强。该文通过理论和实证分析为研究者提供AMR解析方法的发展脉络和研究思路。

关键词在医疗、教育、金融、农业及工业制造等领域得到快速发展与广泛应用,得益于其表征海量文本信息的主旨和核心内容。关键词提取成为开启领域研究的必要前置条件,是自然语言处理、知识图谱、系统对话等的关键基础研究热点问题。关键词提取技术和算法成为快速准确获取有效文本信息的关键所在,因而广大研究者对该领域进行了积极探索和应用。该文从现有关键词提取算法的主流流程出发,分析关键词提取过程;结合深度学习和传统机器学习在关键词提取中的应用特点,梳理并详细描述了现有关键词提取方法的计算特征及应用案例;针对提取流程,结合提取特征、典型文献、模型算法、方法描述等,分别分析了有监督提取、无监督提取和半监督提取方法的研究进程、算法机制、优势、局限性及应用场景;通过关键词提取的不同方法和案例给出关键词提取得分解析和评价策略;展望了关键词提取的半监督方法应用前景,以及在特征融合、领域知识及图谱构建中的研究方向和可能面临的挑战。

大语言模型(Large Language Models,LLMs)在多种自然语言处理(Natural Language Processing,NLP)任务中展现出了卓越性能,并为实现通用语言智能提供了可能。然而随着其应用范围的扩大,如何准确、全面地评估大语言模型已经成为了一个亟待解决的问题。现有评测基准和方法仍存在许多不足,如评测任务不合理和评测结果不可解释等。同时,随着模型鲁棒性和公平性等其它能力或属性的关注度提升,对更全面、更具解释性的评估方法的需求日益凸显。该文深入分析了大语言模型评测的现状和挑战,总结了现有评测范式,分析了现有评测的不足,介绍了大语言模型相关的评测指标和评测方法,并探讨了大语言模型评测的一些新方向。

ChatGPT引发了新一轮的科技革命,使得对话系统成为研究热点。口语理解(Spoken Language Understanding, SLU)作为任务型对话系统的第一部分,对系统整体的表现具有重要影响。在最近几年中,得益于大规模语言模型的成功,口语理解任务取得了较大的发展。然而,现有工作大多基于书面语数据集完成,无法很好地应对真实口语场景。为此,该文面向与书面语相对的口语,重点关注医疗领域这一应用场景,对现有的医疗领域对话系统口语理解任务进行综述。具体地,该文阐述了医疗口语理解任务的难点与挑战,并从数据集、算法和应用的层面梳理了医疗口语理解的研究现状及不足之处。最后,该文结合生成式大模型的最新进展,给出了医疗口语理解问题新的研究方向。

当前的神经机器翻译系统大多采用自回归的方式进行解码,这种串行解码的方式导致解码效率低下。与之相比,非自回归的方式通过并行解码显著提高了推断速度,受到研究人员的广泛关注。然而,由于缺乏目标序列内词语间的依赖关系,非自回归方法在性能上还存在较大差异。近些年,有很多工作研究如何缩小非自回归机器翻译(NART)和自回归机器翻译(ART)之间的翻译质量差距,但是目前缺少对现有方法和研究趋势的梳理。该文不仅从捕获依赖关系的角度对NART方法进行了详细分类和总结,而且对NART研究面临的挑战进行了展望与分析,并归纳整理了相关的论文,还进一步根据方法、发表会议和任务等进行了分类。

对比学习作为一种自监督式的深度学习范式,在计算机视觉、自然语言处理等领域取得了瞩目的成绩。受这些成功的对比学习模型的启发,近年来大量研究者尝试将其拓展到图数据上,这为推动图对比学习的发展提供了坚实的基础。该领域现有的综述主要关注于传统的图自监督学习任务,而缺少对图对比学习方法的梳理和归纳。为了更好地帮助相关领域的研究者,该文梳理了近些年来的图对比学习模型,通过将现有工作归纳到一个统一的框架下,突出其发展脉络。最后该文总结了图对比学习常用的数据集和评价指标,并展望了该领域未来的发展方向。

近年来,基于会话的推荐方法受到学术界的广泛关注。随着深度学习技术的不断发展,不同的模型结构被应用于基于会话的推荐方法中,如循环神经网络、注意力机制、图神经网络等。该文对这些基于会话的推荐模型进行了详细的分析、分类和对比,阐明了这些方法各自解决的问题与存在的不足。具体而言,该文首先通过调研,将基于会话的推荐方法与传统推荐方法进行比较,阐明基于会话的推荐方法的主要优缺点;其次,详细描述了现有的基于会话的推荐模型如何建模会话集中的复杂数据信息,以及这些模型方法可解决的技术问题;最后,该文讨论并指出了在基于会话推荐的领域中存在的挑战和未来研究的方向。

随着计算机技术的发展,写作智能评测研究有了更加丰富的技术手段和应用场景。该文对写作智能评测的相关研究进行了梳理,首先对写作智能评测系统的发展历程进行了阶段性梳理;其次介绍了写作智能评测研究的任务模式、常用数据库、评估方式;再次梳理了写作智能评测的主要技术方法;再次以面向汉语母语者、面向汉语非母语者两个不同维度展开介绍中文写作智能评测研究的现状及面临的挑战;最后对未来写作智能评测研究发展进行展望。

近些年来,量子自然语言处理作为量子力学和自然语言处理两个领域的交叉研究领域,逐渐受到研究者的重视,并出现了大量关于量子自然语言处理的模型和算法。该文旨在综述当前量子自然语言处理领域的研究动机、研究方法以及相关研究进展。首先简要概述了当前经典算法的问题和研究者将量子力学与自然语言处理相结合的两种研究思路;然后从自然语言处理的语义空间、语义建模和语义交互三个方面,详细阐述量子力学在其中所起到的重要作用,通过分析量子计算平台和经典计算平台在存储资源和运行复杂度两个方面上的差异,证明将量子自然语言处理算法部署到量子计算平台上的必要性;最后对当前量子自然语言处理算法进行列举,并提出该领域可能的发展方向,供研究者进一步展开研究。

微博是信息交流的重要平台,其中存在的机器人账户对信息传播和舆论意见形成具有显著影响。研究微博环境中机器人账户的检测方法,在此基础上识别并处理机器人账户和它们发表的有害言论,能够遏制和消除它们带来的不利作用,对网络空间治理具有重要意义。该文系统地梳理了近年来微博环境中、特别是Twitter与Weibo平台中的机器人账户检测研究工作,列举了获取数据和提取特征的常用方法,着重阐述了基于统计方法、传统机器学习方法以及深度学习方法的机器人账户检测模型并评价其性能,分析了机器人账户检测技术目前面临的问题与挑战,展望了未来研究的发展方向。

多跳阅读理解成为近年来自然语言理解领域的研究热点,与简单阅读理解相比,它更加复杂,需要面对如下挑战: ①结合多处内容线索,如多文档阅读等; ②具有可解释性,如给出推理路径等。为应对这些挑战,出现了各类不同的工作。因此该文综述了多跳式文本阅读理解这一复杂阅读理解任务,首先给出了多跳文本阅读理解任务的定义;由于推理是多跳阅读理解模型的基础能力,根据推理方式的不同,多跳阅读理解模型可以分为三类: 基于结构化推理的多跳阅读理解模型、基于线索抽取的多跳阅读理解模型、基于问题拆分的多跳阅读理解模型,该文接下来比较分析了各类模型在常见多跳阅读理解模型任务数据集上的实验结果,发现这三类模型之间各有优劣。最后探讨了未来的研究方向。

机器翻译译文质量估计(Quality Estimation,QE)是指在不需要人工参考译文的条件下,估计机器翻译系统产生的译文的质量,对机器翻译研究和应用具有很重要的价值。机器翻译译文质量估计经过最近几年的发展,取得了丰富的研究成果。该文首先介绍了机器翻译译文质量估计的背景与意义;然后详细介绍了句子级QE、单词级QE、文档级QE的具体任务目标、评价指标等内容,进一步概括了QE方法发展的三个阶段: 基于特征工程和机器学习的QE方法阶段,基于深度学习的QE方法阶段,融入预训练模型的QE方法阶段,并介绍了每一阶段中的代表性研究工作;最后分析了目前的研究现状及不足,并对未来QE方法的研究及发展方向进行了展望。

分析学科题目含义、模拟人类解决问题,是当前“人工智能+教育”融合研究的重要方向之一。近年来,智能教育系统的快速发展积累了大量学科题目资源,为相关研究提供了数据支撑。为此,利用大数据分析与自然语言处理相关的技术,研究者提出了大量面向学科题目的文本分析方法,开展了许多重要的智能应用任务,对探索人类知识学习等认知能力具有重要意义。该文围绕智能教育与自然语言处理交叉领域,介绍了若干代表性研究任务,包括题目质量分析、机器阅读理解、数学题问答、文章自主评分等,并对相应研究进展进行阐述和总结;此外,对相关数据集和开源工具包进行了总结和介绍;最后,展望了多个未来研究方向。