端到端语音翻译需要解决源语言语音到目标语言文本的跨语言和跨模态映射,在有限标注数据条件下,建立语音文本表征间的统一映射,缓解跨模态差异是提升语音翻译性能的关键。该文提出语音文本跨模态表征对齐方法,对语音文本表征进行多粒度对齐并进行混合并行输入,基于多模态表征的一致性约束进行多任务融合训练。在MuST-C数据集上的实验表明,该文所提方法优于现有端到端语音翻译跨模态表征相关方法,有效提升了语音翻译模型的跨模态映射能力和翻译性能。

机器译文质量估计是机器翻译中的一个重要任务,其在机器译文后编辑和机器翻译系统自训练中发挥着重要的作用。当前基于预训练语言模型的机器译文质量估计方法存在一定程度的翻译忠实度偏见,即它们会对表达流畅且语法正确的译文给出更高的评分,而忽略了机器译文与源语言句子在语义上的一致性。针对这个问题,该文提出了一种基于大语言模型的机器译文质量估计方法:一方面,利用大语言模型提取源语言句子与机器译文的深层语义表征,构建神经网络模型预测译文质量;另一方面,利用大语言模型进行翻译生成伪参考译文,使用传统机器译文自动评价方法预测译文质量,根据伪参考译文来刻画翻译的忠实度。在WMT’22机器译文质量估计评测任务数据集上的实验结果表明,基于大语言模型的机器译文质量估计方法显著提高了机器译文质量估计的性能,且性能超过了该任务参与评测的最优系统。

篇章级机器翻译因可充分考量上下文信息,故而能有效提升译文质量与连贯性。然而,输入序列长度的大幅扩增,对翻译模型在长序列里捕获关键信息的能力提出了更为严苛的要求。针对上述问题,该文提出了一种多粒度关键词注意力修正机制的篇章机器翻译方法。具体地,首先引入掩码注意力扰动模块,评估篇章序列中不同词的重要性,并对关键词的权重进行激励,对噪声词权重进行抑制;其次,结合上下文知识迁移学习方法,将模型在子句和句子粒度层面的上下文建模能力迁移至篇章级翻译模型,从而提升篇章机器翻译模型的鲁棒性和翻译效果。与基线篇章翻译模型相比,在开源的WMT篇章翻译任务数据集上,该文方法平均提升0.55个BLEU,用词一致性提升4.1%,表明该方法在上下文信息利用上具有显著的有效性。

序列到序列模型Transformer在句子级神经机器翻译任务上已取得了瞩目的效果。但直接将Transformer应用于长文本(如篇章)的翻译,却很难达到较好的效果。该文首先分析了Transformer模型在长文本(篇章)上翻译性能欠佳的主要原因,然后合理地提出了多视角注意力机制。具体地,该文改进传统的多头注意力机制,使得多头注意力机制可以主动地关注序列内的不同内容,让一部分注意力头关注当前句,另一部分注意力头关注上下文等。在中英和英德篇章数据集上的实验结果表明,该文方法简单有效,在不增加任何参数的情况下,能够有效提升篇章神经机器翻译性能。

问题生成(QG)是自然语言处理中一个具有挑战性的任务,其目标是根据不同类型的数据,生成语法正确且语义相关的问题。目前,融合答案信息的问题生成方法主要采用序列到序列的神经网络模型,但这些方法存在以下问题: ①对RNN模型的依赖性高; ②欠缺捕捉输入文本的语义信息; ③缺乏对少数民族语言中问题生成的研究。针对以上问题,该文通过一种基于答案感知的BERT自回归方法改进了藏文问题生成。首先,该方法利用藏文预训练模型BERT来处理问题生成任务;其次,通过重组输入部分以进一步提升问题生成的性能,即不断将新生成的词元追加到输入文本中,直到预测到特定的结束标记,使其变为一种连续的生成方式,从而改善了生成的连贯性;最后,为了增强问题和答案的关联,该文通过标记答案位置的方式来指示问题生成,以消除歧义并提高问题的质量。经过实验验证,该文所使用的方法在藏文问题生成任务中表现出明显的性能提升,相较于基线系统,生成的问题更准确和更连贯。

维吾尔语属于稀缺资源语言,如何在资源有限的情况下提升维吾尔语情感分类模型的性能,是目前仍待解决的问题。该文针对现有维吾尔语情感分析因为泛化能力不足所导致的分类效果不佳的问题,提出了基于时间卷积注意力胶囊网络的维吾尔语情感分类模型(TA-Cap)。该文在维吾尔语情感分类数据集中进行了实验并且从多个评价指标(准确率,精确率,召回率,F₁值)进行评估。实验结果表明,该文提出的模型相比传统深度学习模型能够有效提升维吾尔语情感分类的各项指标。

跨语言实体消歧旨在源语言句子中找到与目标语言相对应的实体,对跨语言自然语言处理任务有重要支撑。现有跨语言实体消歧方法在资源丰富的语言上能得到较好的效果,但在资源稀缺的语言上效果不佳,其中越南语-汉语就是一对典型的低资源语言;另一方面,汉语和越南语是非同源语言,存在较大差异,导致跨语言表征困难;因此现有的方法很难适用于越南语-汉语的实体消歧。事实上,汉语和越南语具有相似的音节特点,能够增强越-汉跨语言的实体表示。为更好地融合音节特征,该文提出相似音节增强的越汉跨语言实体消歧方法,缓解了越南语-汉语数据稀缺和语言差异导致的性能不佳的问题。实验表明,该文所提出方法优于现有的实体消歧方法,R@1指标性能提升了5.63%。

当前,机器翻译的自动评估技术已展现出良好的性能,但将它们应用于古代汉语到现代汉语的翻译场景时效果并不理想。这些方法能较好地比较质量差异较大的译文,但在评估质量相差不大的译文时往往难以区分优劣,并且往往会给存在漏译现象的译文偏高的分数。该文提出了一种基于对比学习和排名一致性的古代汉语到现代汉语的翻译质量评估模型(CRATE)。该模型通过确保语义相似度和匹配度的排名一致性捕捉译文质量的细粒度排名信息。实验结果表明,该模型优于强大的基线,与人类评分取得了更为显著的相关性。

端到端语音翻译模型由于数据稀缺问题很难直接进行有效训练。为此,已有方法基于利用辅助数据进行改进的思路,采取了多种不同的策略,但如何将这些策略有机地结合起来仍是一个难题。该文基于编码分解的统一建模架构,实现了对数据增强、预训练和多任务学习三个关键技术的有效联合。在MuST-C英-中语音翻译数据集上的实验结果表明,数据增强在三种方法中具有最大的潜力,能够显著提升语音翻译模型的性能(5.18 BLEU),并通过联合预训练技术实现了在单个模型上最大程度的性能提升(5.48 BLEU),使模型获得更好的泛化性。尽管进一步结合多任务学习无法带来正向效果,但通过对多种模型进行集成仍可获得5.61 BLEU提升。

在不需要人工参考译文对照的情况下,仅利用源语言句子对机器译文的质量进行评估是机器译文质量估计任务的目标。当前的机器译文质量估计方法仅在单个语义空间内比较源语言句子和机器译文,难以全面捕捉不同语言的语义特征,导致译文质量估计的准确性和可靠性不足。针对这个问题,该文提出基于多语义空间的机器译文质量估计方法,通过融合源语言、目标语言和跨语言语义空间质量特征,更准确地评估机器译文的质量。该文方法借助大语言模型和相应提示对源语言句子进行翻译生成伪参考译文,对机器译文进行翻译生成回译;利用跨语言预训练模型X-M_OD表征源语言句子和回译提取在源语言语义空间的机器译文质量特征、利用X-M_OD表征源语言句子和机器译文提取在跨语言语义空间的机器译文质量特征、利用X-M_OD表征机器译文和伪参考译文提取在目标语言语义空间的机器译文质量特征;通过多头自注意力机制和前馈神经网络融合多语义空间特征构建端到端的机器译文质量估计神经网络模型。在WMT′23句子级别机器译文质量估计任务基准数据集上的实验结果表明,该文方法性能超过了当前先进的机器译文质量估计方法TransQuest和UniTE,并超过了参与评测的最优系统。

神经机器翻译系统极易受到输入噪声的干扰,特别是在口语翻译场景中,翻译系统的输入来自语音识别模块的输出,而后者不可避免地存在着识别错误,最终影响翻译性能。现有方法多采用错误修正和翻译的级联式策略以减少识别错误造成的影响,但易导致系统时延增长,且可能引入额外的噪声。该文提出了一种基于对比学习的鲁棒神经机器翻译方法,将包含识别错误的样本作为正例,通过句子级别或词级别的对比损失,分别从整体和局部两种不同角度拉近含噪声文本与干净文本在表示空间中的距离,以降低识别错误对文本表示的影响。同时,该文设计了多种精细化的错误合成方法以模拟更加真实的语音识别错误。在英汉双向多个数据集上的实验表明,该文所提出的方法可以有效降低语音识别错误对翻译模型的影响,提高模型的鲁棒性和翻译性能。

多语言神经机器翻译的连续学习旨在让模型能够不断支持新的翻译方向,且保证原有翻译方向的性能不发生大幅下降。然而,现有的连续学习方法往往对新支持的翻译方向存在着若干限制或者模型参数爆炸等问题。为了解决这些问题,该文提出了一种基于参数对翻译模型重要性的“分而治之”方法。该文提出的方法首先对预训练翻译模型的不同参数关于当前翻译性能的重要性进行评估,然后将对当前翻译性能影响大的参数在原有翻译方向和新的翻译方向之间进行共享,对当前翻译性能影响较小的参数则单独分配给新的翻译方向,用于学习新语言的知识。该文在不同的语言对上进行了实验,并与其他系统进行了对比,结果表明,该方法对模型性能有显著提升。

古文自动翻译技术可有效促进古籍的传承和发展,弘扬中华传统文化。然而,现有古籍翻译语料规模较小,知识缺乏,导致古文翻译系统性能不佳。该文提出使用词典注释资源增强古文翻译系统。作者收集古汉语常见汉字的释义,并设计了一个词典释义选择-融合的二阶段机器翻译框架,以从词典释义中获取有效信息,去除无效信息。在一个中等规模的古文翻译数据集上的实验表明,该文的方法相比于基线模型和前人的释义融合方法,显著提升了翻译质量。另外,该文还设计了一个具有古文特色的翻译人工评估体系,并对现有的古文翻译系统进行了综合、全面的评估。

在机器翻译中,模型训练使用的双语平行语料的数量和质量极大地影响了系统的性能,然而当前很多双语平行语料是从双语可比语料中利用自动过滤方法提取的。为了提高双语平行语料自动过滤的性能,该文提出基于孪生XLM-R模型的双语平行语料过滤方法,使用基于跨语言预训练语言模型XLM-R的孪生神经网络将源语言句子与目标语言句子映射到深层语义空间,利用平均池化操作获得它们相同维度的句子表征,根据句子表征间余弦距离提取相似度高的平行句对。在WMT18双语平行语料过滤任务上的实验结果表明,该文所提模型优于对比的基线模型,与参与该评测的系统具有较好的可比性。

近年来,各种上下文感知模块的引入,使得文档级神经机器翻译(Document-level Neural Machine Translation,DNMT)取得了令人瞩目的进步。受“一个语篇一个翻译(one translation per discourse)”的启发,该文在代表性DNMT模型G-Transformer的基础上,提出一种有效的方法对源端文档中重复出现的词汇进行建模以缓解词汇翻译不一致问题。具体来说,首先获取源端文档中每个单词的词链;然后,使用词链注意力机制以交换同一词链单词之间的上下文信息,从而增强词汇翻译一致性。基于汉英和德英文档级翻译任务的实验结果表明,该文的办法不仅显著缓解了词汇翻译不一致的问题,而且提高了翻译性能。

针对当前多语言零样本翻译的标签策略难以提供丰富的翻译方向信息和模型对语言建模能力的不足,进而导致翻译脱靶的问题,该文提出了使用标签句子重构的多语言零样本神经机器翻译方法。具体而言,首先提出了一种词级别的标签策略,在编码器端增加目标语言标签嵌入,在源语言句子每个词的嵌入表示中注入目标语言信息;其次设计了标签句子重构任务,对句子添加噪声和使用词级别的标签策略后进行重构操作,以达到增强模型语言建模能力的目的。在MultiUN数据集和Europarl数据集上的零样本实验结果表明,所提方法在零样本翻译上的平均BLEU值分别超过强基线0.7和0.3。消融实验结果表明,所提出的语言标签嵌入策略和标签句子重构均能有效提升模型的零样本翻译性能。

文本图像翻译旨在将嵌在图像中的源端语言文本翻译成目标语言。文本图像翻译系统通常由相互独立的光学字符识别(Optical Character Recognition, OCR)和机器翻译(Machine Translation, MT)模型级联组成。OCR模型将文本图像识别成转录文本,MT模型将转录文本翻译成目标语言。由于OCR模型转录文本存在噪声,而MT模型对噪声文本表现不佳,文本图像翻译系统性能远不如纯文本机器翻译系统。为缓解噪声文本带来的问题,鲁棒性机器翻译主要采用以下两种方法: ①使用合成噪声文本,以模拟OCR转录带来的噪声; ②利用干净文本和噪声文本的对比学习,拉近噪声文本和干净文本的分布。未能考虑以下问题: ①忽视来自OCR模型的置信度信息,未能考虑OCR和MT系统的有效融合; ②仅采用合成噪声,类型单一,无法覆盖实际噪声类型; ③仅采用句子粒度的粗粒度对比损失,忽略细粒度的词的对比信息。为解决上述问题,该文提出一种融合置信度信息的文本图像翻译方法,充分利用转录文本中每个字符输出的概率分布,得到每个词的置信度信息,使级联式文本图像翻译系统中的OCR模型和机器翻译模型产生更有效的融合;同时针对OCR转录文本的噪声特点,设计了一种能提供词粒度的对比信息的监督文本,进一步提升模型性能。实验表明,该文所提方法在中译英以及英中文本图像翻译任务上相较于传统的管道式模型得到了显著提升。

对比学习是当前机器翻译鲁棒性研究的主流方法。该方法通常在输入Token层或者Embedding层加入噪声,以扩大样本库并丰富样本风格。然而,噪声样本在经过Encoder处理后,会减弱其与干净样本在隐表示上的差异性,从而限制了对比学习方法的性能。该文通过在Encoder隐表示上直接添加高斯噪声,保持了噪声样本和干净样本在隐表示上的差异性。在Decoder端,通过联合训练噪声样本损失和KL散度损失,最小化KL散度损失使噪声样本的目标概率分布接近干净样本的目标概率分布。在IWSLT2014 De-En任务上,相对于强对比系统R-Drop和SimCut,在干净测试集上提升了0.9 BLEU,在噪声测试集上,分别提升0.82 BLEU和0.63 BLEU,显著提升了模型的翻译效果,并增强了模型对噪声输入的鲁棒性。该技术应用到语音翻译(Speech-to-Text)任务上,在MuST-C测试集和CoVoST 2多说话人测试集上,相对于强对比系统ConST,分别提升1.3 BLEU和3.0 BLEU。相比多任务学习基线系统(MTL),分别提升1.8 BLEU和1.5 BLEU,同样显著提升了翻译效果。

多模态神经机器翻译旨在利用视觉信息来提高文本翻译质量。传统多模态机器翻译将图像的全局语义信息融入翻译模型,而忽略了图像的细粒度信息对翻译质量的影响。对此,该文提出一种基于图文细粒度对齐语义引导的多模态神经机器翻译方法,该方法首先采用跨模态交互图文信息,以提取图文细粒度对齐语义信息,然后以图文细粒度对齐语义信息为枢纽,采用门控机制将多模态细粒度信息对齐到文本信息上,实现图文多模态特征融合。在多模态机器翻译基准数据集Multi30K英语到德语、英语到法语以及英语到捷克语翻译任务上的实验结果表明,该文提出的方法是有效的,并且优于大多数先进的多模态机器翻译方法。

语音翻译的编码器需要同时编码语音中的声学信息和语义信息,单一的Fbank或Wav2vec2语音特征表征能力存在不足。通过分析人工的Fbank特征与自监督的Wav2vec2特征间的差异性,提出基于交叉注意力机制的声学特征融合方法,并探究了不同的自监督特征和融合方式,加强模型对语音中声学和语义信息的学习。结合越南语语音特点,以Fbank特征为主、Pitch特征为辅混合编码Fbank表征,构建多特征融合的越-英语音翻译模型。实验表明,使用多特征的语音翻译模型相比单特征翻译效果更优,与简单的特征拼接方法相比更有效,该文所提出的多特征融合方法在越-英语音翻译任务上提升了1.97个BLEU值。

机器翻译自动评价任务将机器翻译系统输出译文与人工参考译文进行对比定量计算翻译质量,在机器翻译的研究和应用中发挥着重要作用。当前主流的方法是使用预训练上下文语言模型表征机器翻译和人工参考译文,将两者的表征向量直接拼接输入前馈神经网络层以预测翻译质量;它没有在统一语义空间对两者之间的差异进行显式建模。该文提出基于深层差异特征增强的机器翻译自动评价方法,使用多头注意力机制深层抽象机器翻译和人工参考译文,利用两者在统一语义空间的差异特征增强当前最先进的自动评价方法UniTE_UP,将它们抽取的特征进行深层交互,以对机器翻译和人工参考译文之间的差异进行直接显式建模。在WMT21机器翻译自动评价基准数据集上的实验结果表明,深层差异特征增强的自动评价方法能有效提高机器翻译自动评价与人工评价的相关性,消融实验和深入的实验分析进一步揭示了深层差异特征的有效性。

图像描述翻译是给定图像和图像对应某一语言的描述,采用神经网络以端到端方式融合图像和文本两种模态信息,利用翻译技术为图像描述生成目标语言的任务。传统图像描述翻译,在将源语言翻译成目标语言时,借助图像中的重要特征优化翻译过程。翻译过程中,目标词的生成依赖于源语言上下文和目标语言上下文信息。通过观察发现,源语言上下文偏于影响翻译结果的充分性和忠实度,而目标语言上下文偏于影响翻译结果的流畅性和衔接度。由于缺少有效机制来调节两种上下文信息的贡献度,翻译模型会生成流畅但不充分或者充分但不流畅的句子。针对以上问题,该文提出一种基于门控机制多模态信息融合的解码方法,用于优化现有图像描述翻译模型。该文模型通过源上下文门控调整图像特征和每个源语言词的重要度,过滤掉图像中不相关的特征;通过目标上下文门控动态调整源语言上下文和目标语言上下文对翻译结果的贡献度,从而有效提高翻译结果的充分性和流畅性。在Multi30k数据集上进行实验,验证了上述方法的有效性,在Multi30k-16英德和英法以及Multi30k-17英德和英法测试集上,BLEU-4值对比基准系统分别提升了1.3、1.0、1.5和1.4个百分点。

标记语言翻译相比于纯文本类型翻译任务来说,存在标记格式复杂多样造成的译文质量低和译文端格式难以保持等技术难题。针对这些难题,该文提出基于组合泛化的标记语言建模方法。同时,针对标记语言的格式还原问题,该文提出使用标签位置准确率、正确率、召回率和F₁值等指标来衡量标记语言格式还原效果。实验发现,该文所提出的泛化方法相较于基于截断、基于词对齐和已有的泛化方法,BLEU均有较大提升,格式还原率接近100%。

神经机器翻译需要大规模的双语平行语料利用深度学习的方法构建翻译模型,但低资源场景下平行句对缺乏,导致训练的神经机器翻译模型效果较差。无监督神经机器翻译技术仅使用两种语言的单语数据,解决了神经机器翻译对大规模双语平行数据的依赖问题。但是无监督神经机器翻译技术存在两个问题,一是对于句法建模能力欠缺;二是在低资源场景下存在的少量双语语料不能用于模型训练,造成双语语料资源浪费。为了解决上述问题,该文提出在无监督神经机器翻译中融合句法知识的方法,使模型可以充分学习句子的句法信息;同时引入少量双语平行语料辅助无监督神经机器翻译训练,使模型直接学习源语言与目标语言单词之间的转换。与基线模型相比较,在英-法和德-英单语新闻数据集上BLEU值分别提升了1.65和1.79。

篇章中的同一实体经常会呈现出不同的表述,形成一系列复杂的指代关系,这给篇章翻译带来了很大的挑战。该文重点探索指代消解和篇章神经机器翻译的融合方案,首先为指代链设计相应的指代表征;其次使用软约束和硬约束两种方法在翻译系统中实现指代信息的融合。该文建议的方法分别在英语-德语和中文-英语语言对上进行了实验,实验结果表明,相比于同期最好的句子级翻译系统,该方法能使翻译性能获得明显提升。此外,在英语-德语的代词翻译质量的专门评估中,准确率也有显著提升。

当域外和域内分别表示不同的语言时,语言之间的差异会导致域外知识难以适应至域内。因此提出域对抗迁移学习方法来改进机器翻译模型。采用对抗学习方法,加入一个域判别器对域外和域内的语义特征进行预测,通过最小化域外和域内语义特征预测值优化编码器。当两个领域的语义特征预测值相近时,说明模型学习到一个可以把域内数据映射到域外的映射函数。通过实验,该方法在蒙古语-汉语和维吾尔语-汉语等翻译任务上展现出一定的泛化能力。

视频引导机器翻译是一种多模态机器翻译任务,其目标是通过视频和文本的结合产生高质量的文本翻译。但是之前的工作只基于视频中的时间结构选择相关片段引导机器翻译,所选片段中存在大量与目标语言无关的信息。因此,在翻译过程中,视频中的时空结构没有得到充分利用,从而无法有效缓解机器翻译中细节缺失或翻译错误的问题。为了解决这一问题,该文提出了一种基于时空注意力(Spatial-Temporal Attention,STA)的模型来充分利用视频中的时空信息引导机器翻译。该文提出的注意力模型不但能够选择与目标语言最相关的时空片段,而且能进一步聚焦片段中最相关的实体信息。所关注的实体信息能有效增强源语言和目标语言的语义对齐,从而使得源语言中的细节信息得到准确翻译。该文的方法基于Vatex公共数据集和构建的汉-越低资源数据集进行实验,在Vatex与汉-越低资源数据集上BLEU4分别达到32.66和18.46,相比于时间注意力基线方法提高了3.54与0.89个BLEU值。

神经机器翻译在句子级翻译任务上取得了令人瞩目的效果,但是句子级翻译的译文会存在一致性、指代等篇章问题,篇章翻译通过利用上下文信息来解决上述问题。不同于以往使用源端上下文建模的方法,该文提出了融合目标端上下文信息的篇章神经机器翻译。具体地,该文借助推敲网络的思想,对篇章源端进行二次翻译,第一次基于句子级翻译,第二次翻译参考了全篇的第一次翻译结果。基于LDC中英篇章数据集和WMT英德篇章数据集的实验结果表明,在引入较少的参数的条件下,该文方法能显著提高翻译性能。同时,随着第一次翻译(即句子级译文)质量的提升,所提方法也更有效。

缺少平行句对的低资源机器翻译面临跨语言语义转述科学问题。该文围绕具体的低资源印尼语-汉语机器翻译问题,探索了基于同源语料的数据增广方法,并混合同源语料训练出更优的神经机器翻译模型。这种混合语料模型在印尼语-汉语机器翻译实验中提升了3个多点的BLEU4评分。实验结果证明,同源语料能够有效增强低资源神经机器翻译性能,而这种有效性主要是源于同源语言之间的形态相似性和语义等价性。

机器翻译质量评估(QE)是在不依赖参考译文的条件下,自动对机器翻译译文进行评估。当前人工标注数据稀缺,使得神经QE模型在自动检测译文错误方面还存在较大问题。为了更好地利用规模庞大但却缺少人工标注信息的平行语料,该文提出一种基于平行语料的翻译知识迁移方案。首先采用跨语言预训练模型XLM-R构建神经质量评估基线系统,在此基础上提出三种预训练策略增强XLM-R的双语语义关联能力。该文方法在WMT 2017和WMT 2019的英德翻译质量评估数据集上都达到了最高性能。