表格理解是指通过计算机对广泛存在于互联网、垂直领域的表格进行自动识别、解析和应用的过程。表格可大致分为关系型表格和非关系型表格。前者类似关系数据库表格,具有结构固定、机器易解析等特点,其研究历史由来已久。后者通常布局多变,语法灵活,具有更明显的语言特性,这也导致计算机在解析和应用非关系型表格时面临着极大挑战。非关系型表格理解是自然语言和计算机视觉多模态交叉的重要新兴领域之一。随着近年来深度学习技术的普及应用,非关系型表格在表格识别、语义分析、创新应用几个方向得到了长足发展。该文介绍了非关系型表格的结构特点,阐述了其在研究过程中面临的独特挑战,然后从表格识别、语义分析、创新应用三个研究方向简要介绍了近年来此领域的发展,归纳了相关数据集,最后总结了目前非关系型表格理解领域亟需解决的问题,展望了未来研究方向。

表格问答通过自然语言问句直接与表格数据进行交互并得到答案,是智能问答的主要形式之一。近年来,研究人员利用以语义解析为主的技术在该领域开展了深入研究。该文从不同表格类型分类及其问答任务问题定义出发,将表格问答细分为单表单轮、多表单轮、多表多轮式问答三种任务,并系统介绍了各类表格问答任务的数据集及其代表性方法。其次,该文总结了当前主流表格预训练模型的数据构造、输入编码以及预训练目标。最后,探讨当前工作的优势与不足,并分析了未来表格问答的前景与挑战。

句子级语义分析是自然语言处理(NLP)的核心任务,面临复杂语义的表示问题。抽象语义表示(AMR)突破浅层局限,实现了领域无关的整句通用语义表示,具备准确表征句子完整语义的能力。因为AMR解析效果会影响下游NLP任务的表现,所以解析方法成为近年的国内外研究热点。由于时效性因素,既有AMR综述未涉及新涌现的解析方法,亟需深度聚焦其前沿文献。该文首先采用CiteSpace工具分析了AMR的总体研究情况。相比英文AMR解析研究,中文AMR解析研究成果数量相对较少,尚有较大的发展空间。进而分析了AMR语料库发展和AMR解析面临的概念和概念关系识别、对齐以及融入结构信息等问题。根据不同的解析策略将解析方法分为4类,以问题为驱动,剖析了各类AMR解析方法的演进。最后,选择21个英文AMR解析器、7个中文AMR解析器,比较分析Smatch等各项实验指标。归纳实验结果发现,现有模型在学习复杂多语义关系方面亟待加强。该文通过理论和实证分析为研究者提供AMR解析方法的发展脉络和研究思路。

关键词在医疗、教育、金融、农业及工业制造等领域得到快速发展与广泛应用,得益于其表征海量文本信息的主旨和核心内容。关键词提取成为开启领域研究的必要前置条件,是自然语言处理、知识图谱、系统对话等的关键基础研究热点问题。关键词提取技术和算法成为快速准确获取有效文本信息的关键所在,因而广大研究者对该领域进行了积极探索和应用。该文从现有关键词提取算法的主流流程出发,分析关键词提取过程;结合深度学习和传统机器学习在关键词提取中的应用特点,梳理并详细描述了现有关键词提取方法的计算特征及应用案例;针对提取流程,结合提取特征、典型文献、模型算法、方法描述等,分别分析了有监督提取、无监督提取和半监督提取方法的研究进程、算法机制、优势、局限性及应用场景;通过关键词提取的不同方法和案例给出关键词提取得分解析和评价策略;展望了关键词提取的半监督方法应用前景,以及在特征融合、领域知识及图谱构建中的研究方向和可能面临的挑战。

大语言模型(Large Language Models,LLMs)在多种自然语言处理(Natural Language Processing,NLP)任务中展现出了卓越性能,并为实现通用语言智能提供了可能。然而随着其应用范围的扩大,如何准确、全面地评估大语言模型已经成为了一个亟待解决的问题。现有评测基准和方法仍存在许多不足,如评测任务不合理和评测结果不可解释等。同时,随着模型鲁棒性和公平性等其它能力或属性的关注度提升,对更全面、更具解释性的评估方法的需求日益凸显。该文深入分析了大语言模型评测的现状和挑战,总结了现有评测范式,分析了现有评测的不足,介绍了大语言模型相关的评测指标和评测方法,并探讨了大语言模型评测的一些新方向。

ChatGPT引发了新一轮的科技革命,使得对话系统成为研究热点。口语理解(Spoken Language Understanding, SLU)作为任务型对话系统的第一部分,对系统整体的表现具有重要影响。在最近几年中,得益于大规模语言模型的成功,口语理解任务取得了较大的发展。然而,现有工作大多基于书面语数据集完成,无法很好地应对真实口语场景。为此,该文面向与书面语相对的口语,重点关注医疗领域这一应用场景,对现有的医疗领域对话系统口语理解任务进行综述。具体地,该文阐述了医疗口语理解任务的难点与挑战,并从数据集、算法和应用的层面梳理了医疗口语理解的研究现状及不足之处。最后,该文结合生成式大模型的最新进展,给出了医疗口语理解问题新的研究方向。

当前的神经机器翻译系统大多采用自回归的方式进行解码,这种串行解码的方式导致解码效率低下。与之相比,非自回归的方式通过并行解码显著提高了推断速度,受到研究人员的广泛关注。然而,由于缺乏目标序列内词语间的依赖关系,非自回归方法在性能上还存在较大差异。近些年,有很多工作研究如何缩小非自回归机器翻译(NART)和自回归机器翻译(ART)之间的翻译质量差距,但是目前缺少对现有方法和研究趋势的梳理。该文不仅从捕获依赖关系的角度对NART方法进行了详细分类和总结,而且对NART研究面临的挑战进行了展望与分析,并归纳整理了相关的论文,还进一步根据方法、发表会议和任务等进行了分类。

对比学习作为一种自监督式的深度学习范式,在计算机视觉、自然语言处理等领域取得了瞩目的成绩。受这些成功的对比学习模型的启发,近年来大量研究者尝试将其拓展到图数据上,这为推动图对比学习的发展提供了坚实的基础。该领域现有的综述主要关注于传统的图自监督学习任务,而缺少对图对比学习方法的梳理和归纳。为了更好地帮助相关领域的研究者,该文梳理了近些年来的图对比学习模型,通过将现有工作归纳到一个统一的框架下,突出其发展脉络。最后该文总结了图对比学习常用的数据集和评价指标,并展望了该领域未来的发展方向。

近年来,基于会话的推荐方法受到学术界的广泛关注。随着深度学习技术的不断发展,不同的模型结构被应用于基于会话的推荐方法中,如循环神经网络、注意力机制、图神经网络等。该文对这些基于会话的推荐模型进行了详细的分析、分类和对比,阐明了这些方法各自解决的问题与存在的不足。具体而言,该文首先通过调研,将基于会话的推荐方法与传统推荐方法进行比较,阐明基于会话的推荐方法的主要优缺点;其次,详细描述了现有的基于会话的推荐模型如何建模会话集中的复杂数据信息,以及这些模型方法可解决的技术问题;最后,该文讨论并指出了在基于会话推荐的领域中存在的挑战和未来研究的方向。

随着计算机技术的发展,写作智能评测研究有了更加丰富的技术手段和应用场景。该文对写作智能评测的相关研究进行了梳理,首先对写作智能评测系统的发展历程进行了阶段性梳理;其次介绍了写作智能评测研究的任务模式、常用数据库、评估方式;再次梳理了写作智能评测的主要技术方法;再次以面向汉语母语者、面向汉语非母语者两个不同维度展开介绍中文写作智能评测研究的现状及面临的挑战;最后对未来写作智能评测研究发展进行展望。

近些年来,量子自然语言处理作为量子力学和自然语言处理两个领域的交叉研究领域,逐渐受到研究者的重视,并出现了大量关于量子自然语言处理的模型和算法。该文旨在综述当前量子自然语言处理领域的研究动机、研究方法以及相关研究进展。首先简要概述了当前经典算法的问题和研究者将量子力学与自然语言处理相结合的两种研究思路;然后从自然语言处理的语义空间、语义建模和语义交互三个方面,详细阐述量子力学在其中所起到的重要作用,通过分析量子计算平台和经典计算平台在存储资源和运行复杂度两个方面上的差异,证明将量子自然语言处理算法部署到量子计算平台上的必要性;最后对当前量子自然语言处理算法进行列举,并提出该领域可能的发展方向,供研究者进一步展开研究。

微博是信息交流的重要平台,其中存在的机器人账户对信息传播和舆论意见形成具有显著影响。研究微博环境中机器人账户的检测方法,在此基础上识别并处理机器人账户和它们发表的有害言论,能够遏制和消除它们带来的不利作用,对网络空间治理具有重要意义。该文系统地梳理了近年来微博环境中、特别是Twitter与Weibo平台中的机器人账户检测研究工作,列举了获取数据和提取特征的常用方法,着重阐述了基于统计方法、传统机器学习方法以及深度学习方法的机器人账户检测模型并评价其性能,分析了机器人账户检测技术目前面临的问题与挑战,展望了未来研究的发展方向。

多跳阅读理解成为近年来自然语言理解领域的研究热点,与简单阅读理解相比,它更加复杂,需要面对如下挑战: ①结合多处内容线索,如多文档阅读等; ②具有可解释性,如给出推理路径等。为应对这些挑战,出现了各类不同的工作。因此该文综述了多跳式文本阅读理解这一复杂阅读理解任务,首先给出了多跳文本阅读理解任务的定义;由于推理是多跳阅读理解模型的基础能力,根据推理方式的不同,多跳阅读理解模型可以分为三类: 基于结构化推理的多跳阅读理解模型、基于线索抽取的多跳阅读理解模型、基于问题拆分的多跳阅读理解模型,该文接下来比较分析了各类模型在常见多跳阅读理解模型任务数据集上的实验结果,发现这三类模型之间各有优劣。最后探讨了未来的研究方向。

机器翻译译文质量估计(Quality Estimation,QE)是指在不需要人工参考译文的条件下,估计机器翻译系统产生的译文的质量,对机器翻译研究和应用具有很重要的价值。机器翻译译文质量估计经过最近几年的发展,取得了丰富的研究成果。该文首先介绍了机器翻译译文质量估计的背景与意义;然后详细介绍了句子级QE、单词级QE、文档级QE的具体任务目标、评价指标等内容,进一步概括了QE方法发展的三个阶段: 基于特征工程和机器学习的QE方法阶段,基于深度学习的QE方法阶段,融入预训练模型的QE方法阶段,并介绍了每一阶段中的代表性研究工作;最后分析了目前的研究现状及不足,并对未来QE方法的研究及发展方向进行了展望。

分析学科题目含义、模拟人类解决问题,是当前“人工智能+教育”融合研究的重要方向之一。近年来,智能教育系统的快速发展积累了大量学科题目资源,为相关研究提供了数据支撑。为此,利用大数据分析与自然语言处理相关的技术,研究者提出了大量面向学科题目的文本分析方法,开展了许多重要的智能应用任务,对探索人类知识学习等认知能力具有重要意义。该文围绕智能教育与自然语言处理交叉领域,介绍了若干代表性研究任务,包括题目质量分析、机器阅读理解、数学题问答、文章自主评分等,并对相应研究进展进行阐述和总结;此外,对相关数据集和开源工具包进行了总结和介绍;最后,展望了多个未来研究方向。

文本校对在新闻发布、书刊出版、语音输入、汉字识别等领域有着极其重要的应用价值,是自然语言处理领域中的一个重要研究方向。该文对中文文本自动校对技术进行了系统性的梳理,将中文文本的错误类型分为拼写错误、语法错误和语义错误,并对这三类错误的校对方法进行了梳理,对中文文本自动校对的数据集和评价方法进行了总结,最后展望了中文文本自动校对技术的未来发展。

法律人工智能因其高效、便捷的特点,近年来受到社会各界的广泛关注。法律文书是法律在社会生活中最常见的表现形式,应用自然语言理解方法智能地处理法律文书内容是一个重要的研究和应用方向。该文梳理与总结面向法律文书的自然语言理解技术,首先介绍了五类面向法律文书的自然语言理解任务形式: 法律文书信息提取、类案检索、司法问答、法律文书摘要和判决预测。然后,该文探讨了运用现有自然语言理解技术应对法律文书理解的主要挑战,指出需要解决好法律文书与日常生活语言之间的表述差异性、建模好法律文书中特有的推理与论辩结构,并且需要将法条、推理模式等法律知识融入自然语言理解模型。

论辩挖掘任务的目标是自动识别并抽取自然语言中的论辩结构,对论辩结构及其逻辑的分析有助于了解论辨观点的成因,因而该任务受到了研究者越来越多的关注,而基于深度学习的模型因其对复杂结构的编码能力及强大的表征能力,在论辩挖掘任务中得到了广泛的应用。该文对基于深度学习的模型在论辩挖掘任务中的应用进行了系统性的综述,首先介绍了论辩挖掘任务的概念、框架及不同领域的数据集,随后,详细描述了深度学习模型是如何被应用于不同的论辩挖掘任务,最后对论辩挖掘任务现有的问题进行了总结并对未来的研究方向进行了展望。

文档智能是指通过计算机进行自动阅读、理解以及分析商业文档的过程,是自然语言处理和计算机视觉交叉领域的一个重要研究方向。近年来,深度学习技术的普及极大地推动了文档智能领域的发展,以文档版面分析、文档信息抽取、文档视觉问答以及文档图像分类等为代表的文档智能任务均有显著的性能提升。该文对于早期基于启发式规则的文档分析技术、基于统计机器学习的算法以及近年来基于深度学习和预训练的方法进行简要介绍,并展望了文档智能技术的未来发展方向。

中文命名实体识别(CNER)任务是问答系统、机器翻译、信息抽取等自然语言应用的基础底层任务。传统的CNER系统借助人工设计的领域词典和语法规则,取得了不错的实验效果,但存在泛化能力弱、鲁棒性差、维护难等缺点。近年来兴起的深度学习技术通过端到端的方式自动提取文本特征,弥补了上述不足。该文对基于深度学习的中文命名实体识别任务最新研究进展进行了综述,先介绍中文命名实体识别任务的概念、应用现状和难点,接着简要介绍中文命名实体识别任务的常用数据集和评估方法,并按照主要网络架构对中文命名实体识别任务上的深度学习模型进行分类和梳理,最后对这一任务的未来研究方向进行了展望。

随着视觉、听觉、语言等单模态人工智能技术的突破,让计算机拥有更接近人类理解多模态信息的能力受到研究者们的广泛关注。另一方面,随着图文社交、短视频、视频会议、直播和虚拟数字人等应用的涌现,对多模态信息处理技术提出了更高要求,同时也给多模态研究提供了海量的数据和丰富的应用场景。该文首先介绍了近期自然语言处理领域关注度较高的多模态应用,并从单模态的特征表示、多模态的特征融合阶段、融合模型的网络结构、未对齐模态和模态缺失下的多模态融合等角度综述了主流的多模态融合方法,同时也综合分析了视觉-语言跨模态预训练模型的最新进展。

人脑对语言的理解过程十分复杂,涉及多个脑网络和加工机制。以往的工作大多采用严格控制的实验设计,针对特定的语言现象展开研究,导致了研究结论趋于碎片化,无法形成关于大脑语言理解的总体结论。另一方面,深度学习的出现引发了语言计算领域的技术变革,语言计算模型在多个任务上达到甚至超越了人类的水平。这为进行全局性、高生态效度的人脑语言理解实验带来可能性,促进了语言认知实验中引入语言计算模型方法的快速发展。那么,利用新兴的语言计算方法可以为大脑语言认知机理的研究带来哪些新的机遇和启发呢？该文归纳总结了利用语言计算方法进行语言认知实验的相关工作,并对未来发展趋势予以展望。

关系分类作为构建结构化知识的重要一环,在自然语言处理领域备受关注。但在很多应用领域中(如医疗、金融等领域)收集充足的用于训练关系分类模型的数据十分困难。近年来,仅需要少量训练样本的小样本学习逐渐应用于关系分类研究中。该文对近期小样本关系分类模型与方法进行了系统的综述。根据度量方法的不同,将现有方法分为原型式和分布式两大类。根据是否利用额外信息,将模型分为预训练和非预训练两大类。此外,除了常规设定下的小样本学习,该文还梳理了跨领域和稀缺资源场景下的小样本学习,探讨了目前小样本关系分类方法的局限性,并分析了跨领域小样本学习面临的技术挑战。最后,展望了小样本关系分类未来的发展方向。

任务型对话系统中的自然语言生成模块(ToDNLG)旨在将系统的对话动作转换为自然语言回复,其受到研究者的广泛关注。随着深度神经网络的发展和预训练语言模型的爆发,ToDNLG的研究已经获得了重大突破。然而,目前仍然缺乏对现有方法和最新趋势的全面调研。为了填补这个空白,该文全面调研了ToDNLG的最新进展和前沿领域,包括: (1)系统性回顾: 回顾和总结了ToDNLG近10年的发展脉络和方法,包括非神经网络时代和基于深度学习的ToDNLG工作; (2)前沿与挑战: 总结了复杂ToDNLG等一些新兴领域及其相应的挑战; (3)丰富的开源资源: 该文在一个公共网站上收集、整理了相关的论文、基线代码和排行榜,供ToDNLG的研究人员直接了解最新进展,希望该文的调研工作能够促进ToDNLG领域的研究工作。

自动词语简化是用简单、同等意义的词语替代句子中复杂词的过程，是文本简化中的一个重要研究方向。随着自然语言处理技术的快速发展，词语简化方法也在不断更新与变化。该文对词语简化方法的相关研究进行了梳理，先对词语简化的整体框架进行解释,然后将词语简化方法总结为语言数据库、自动规则、词嵌入模型、混合模型和预处理语言模型。接着对汉语词语简化研究所面临的难点进行论述。最后，对词语简化方法的发展方向进行了展望和总结。

开放型对话是对话系统的一个重要分支,有着极强的应用前景。它不同于任务型对话,具有较强的随机性和不确定性。该文从回复方式驱动对话技术发展这个角度切入,进行开放型对话技术发展过程的梳理,紧扣序列到序列及其改良模型在对话生成场景中应用的这条主要线索,对开放型对话的关键技术进行了探讨和研究。上述研究勾画出了从单轮对话到多轮对话发展的主要研究主线。为进一步探索对话技术发展的内在规律和发展趋势,通过研究发现,基于序列到序列的生成模型在面向多轮对话生成的任务场景时,显现出模型实现特点和应用场景不完全匹配的问题。因此,在该文的最后,从引入外部知识、改写机制及代理机制三个角度切入,初步探索了相关技术针对多轮对话生成的可能改进方向。

互联网时代,纷繁复杂的Web信息使得人们难以快速、准确地获得新闻事件的故事脉络。因此,如何从Web信息中自动挖掘社会事件的故事脉络(简称“故事脉络挖掘”)成为近年来Web数据挖掘领域的一个研究热点。故事脉络挖掘旨在通过分析新闻事件与后续关联事件间的相互关系,抽取事件的演化阶段,并进一步挖掘事件的演化模式。故事脉络挖掘可应用于网络新闻检索、文本摘要、舆情监测等众多应用场景,具有重要的研究价值。该文首先概述了故事脉络挖掘的定义、流程及主要任务,然后从故事脉络构建和事件演化分析两个方面详细介绍了目前故事脉络挖掘方向的主要进展,接着比较了两类数据集及其评测标准,最后给出了故事脉络挖掘领域未来的若干研究挑战和技术框架。

基于人工智能技术的人机对话系统在人机交互、智能助手、智能客服、问答咨询等多个领域应用日益广泛,这极大地促进了自然语言理解及生成、对话状态追踪和端到端的深度学习模型构建等相关理论与技术的发展,并成为目前工业界与学术界共同关注的研究热点之一。该文聚焦特定场景下的任务型对话系统,在对其基本概念进行形式化定义的基础上,围绕着以最少的对话轮次来获得最佳用户需求相匹配的对话内容为目标,针对目前存在的复杂业务场景下基于自然语言的用户意图的准确理解和识别、针对训练数据的标注依赖及模型结果的可解释性不足,以及多模态条件下对话内容的个性化生成这三个重大的技术问题和挑战,对当前的技术与研究进展进行系统地对比分析和综述,为进一步的研究工作奠定基础。同时,对新一代的面向任务型的人机对话系统未来的关键研究方向与任务进行总结。

随着人工智能和大数据处理技术的发展,人工智能技术在辅助法官办案、辅助诉讼、辅助司法管理等诸多方面起着重大作用,推进了智慧法院的发展,并受到学术界及工业界的广泛关注。该文在针对人工智能技术在辅助司法办案相关模型分析的基础上,归纳并提出了目前司法判决预测领域存在的多特征的罪名分类预测、多标签的罪名分类预测、司法判决预测中多个子任务处理、司法判决预测中的不平衡数据处理、判决预测结果的可解释性以及将已有的刑事案件预测算法迁移学习推广到不同类别案件等6项关键性问题与挑战。同时,该文针对这些关键问题与技术挑战进行了理论探讨、技术分析以及当前工作进展与趋势分析,总结了司法判决预测领域目前使用到的一些数据集及其对应的评价指标,为深入研究司法判决预测提供新的研究线索与方向。

预训练技术当前在自然语言处理领域占有举足轻重的位置。尤其近两年提出的ELMo、GTP、BERT、XLNet、T5、GTP-3等预训练模型的成功,进一步将预训练技术推向了研究高潮。该文从语言模型、特征抽取器、上下文表征、词表征四个方面对现存的主要预训练技术进行了分析和分类,并分析了当前自然语言处理中的预训练技术面临的主要问题和发展趋势。