在读证明德语翻译 模板 ACL 2020丨ST-NMT：软目标模板助力神经机器翻译

编者按：现有的神经机器翻译模型大多直接从源文本中逐字翻译，翻译后的文本略有机器翻译的感觉。受人工翻译过程等领域基于模板和基于语法的方法的启发，微软亚洲研究院提出了一种方法ST-NMT，以从语法树结构中提取的模板作为软目标模板来指导翻译过程。实验表明，ST-NMT模型在汉英、英德、日媒的多个翻译任务上明显优于基线模型，证明了软目标模板的有效性。

尽管近年来神经机器翻译 (NMT) 取得了很大进展，但大多数神经机器翻译模型直接从源文本生成翻译。受基于模板和基于语法的方法在人工翻译过程等领域的成功启发，我们提出了一种方法，使用从语法树结构中提取的模板作为软目标模板来指导翻译过程。为了学习目标句的句法结构，我们使用语法分析树生成候选模板，将模板信息合并到编码器-解码器框架中，并使用模板和源文本生成翻译。实验表明，我们的模型在四个数据集上明显优于基线模型，

软模板预测

近年来，神经机器翻译取得了很大进展，但传统的神经机器翻译模型一般直接将源语言文本翻译成目标语言文本。但实际上我们知道，在翻译一个句子时，人类通常首先对目标文本的句型或结构有一个大概的了解，然后将源语言文本翻译成目标语言文本，而不是直接翻译它逐词地。

通常我们在做造句训练的时候，老师会先教我们一些句型，比如“sb. like do sth; There be...”等等，然后让我们做练习。下图为汉英翻译培训教材内容。需要按照以下句型将中文翻译成英文。

图一：汉英翻译培训教材内容

受人工翻译过程的启发，我们提出了一种方法，使用从句法分析树中提取的模板作为软目标语言模板来指导翻译过程。为了学习目标句的句法结构，我们使用句法分析树来生成候选模板。如图 2 所示，我们首先根据源语言文本预测要使用的目标语言的模板。在这里，“我喜欢打篮球”，很容易想到句型“sb. like doing sth”，然后我们使用源语言和模板生成翻译。

图 2：使用软目标模板指导翻译过程的示例

基于这个核心思想以及模板方法在机器文摘、问答等文本中的成功。我们假设目标句子的候选模板可以指导句子翻译过程。我们使用这些从句法分析树中提取的模板作为软模板，由带有句子结构信息的 S、NP、VP 和目标语言组成。这里的模板是“软”的，因为我们不强制完全根据模板生成目标语言翻译。这里的模板仅提供参考，为翻译提供一些帮助。

为了更有效地使用软模板，我们在目标语言中引入了基于软模板的神经机器翻译模型（Soft Template-based NMT在读证明德语翻译 模板，ST-NMT），可以使用源文本和软模板来预测*终翻译. 我们的方法可以分为两个阶段。第一阶段，利用源文本和从句法分析树中提取的模板，训练一个标准的Transformer模型在读证明德语翻译 模板，专门预测软目标模板。在第二阶段，我们使用两种编码器，包括软目标模板编码器和源语言编码器，对源文本和模板进行编码并生成*终翻译。

目标软模板预测

图 3：从分析树中提取模板

在这个过程中，通过使用源语言 S 和模板 T 数据，我们对 P(T|X) 进行建模，以便我们可以根据源语言预测模板。为了构建源语言-模板数据集，我们使用句法分析树来解析目标语言文本并获得树结构。然后，我们对超过一定深度的节点进行裁剪，将裁剪后的子树按照原来的顺序恢复，得到模板数据。通过这些操作，我们得到了源语言-模板并行训练数据，训练了Transformer模型P(T|X)来预测软目标模板。

语法分析树可以显示整个句子的结构和语法信息，并使用语法来区分终端节点和非终端节点。更准确地说，非终端节点属于非终端节点集S，终端节点属于目标语言节点集V。 S={V, VP, NP, ..., ASBR} 等记号表示语法成分和 V={There, are, ..., people} 包含目标语言单词。如图2所示，句子“Someone is running”通过语法解析树生成树结构。在这种情况下，非终端节点集S0={S, NP, VP, EX, VBP, NP, DT, NNS, VBG}，终端节点集V0={There, are, some, people, running}。我们的模板 T={t1, t2, t3, t4} 是一个由终端节点和非终端节点组成的有序序列。在这种情况下，t1=那里，t2=是，t3=VP，t4=NP。我们的模板就是提取一个特定深度的子树，利用子树叶子节点上的终端节点和非终端节点来生成模板。

为了预测软目标模板，我们根据源文本和提取模板的训练数据训练一个 Transformer 模型。Transformer 模型读取源文本并使用波束搜索来预测软目标模板。然后，我们选择捆绑搜索的前 K 个结果作为模板。

选择子树的深度是一种权衡。图3中，当深度等于1时，属于特例，此时模板只有一个符号S。模板 S 不能提供任何有用的信息。另一个特殊情况是当深度大于6时，“有人在跑”，此时模板只有终端节点。模板仅包含目标语言的单词，不能提供任何其他信息。当深度等于4时，模板为“有VP NP”。该模板包含句子句法和结构信息，适用于我们的方法。

使用Transformer模型P(T|X)，我们需要构造伪训练数据（源语言文本、目标语言文本、目标软模板），而不是直接通过解析树提取的模板。给定源文本 X，我们使用 P(T|X) 通过波束搜索生成排名靠前的目标语言软模板 T。*后，我们得到三元组训练数据（源语言文本、目标语言文本、软模板），为下一阶段做准备。

ST-NMT模型

我们的模型首先使用源语言 Transformer 编码器读取源语言序列 X=(x1, x2, x3, ..., xn) 并生成模板序列 T=(t1, t2, t3, ..., tm)由模板 Transformer 解码器提供。如图 3 所示，我们的模型使用源语言 Transformer 编码器和模板 Transformer 编码器分别对源语言序列 X 和模板序列 T 进行编码，*终解码器生成*终翻译。我们的方法主要包括两个阶段：（1）训练数据由基于选择的解析树构建。然后，我们使用标准的Transformer将源文本转换为下一代软目标模板。（2）基于对于源文本和预测的软目标模板，我们使用两个编码器将两个序列编码成一个隐藏状态，

图 4：ST-NMT 模型

给定三元组训练数据（源语言文本、目标语言文本、软模板），我们使用源语言文本和软模板为目标语言文本生成以下公式。源语言 Transformer 编码器和软模板 Transformer 编码器将输入序列 X 和由目标语言单词和非终端节点组成的模板 T 映射到隐藏层向量。然后，Transformer 解码器与两个编码器交互生成*终的翻译 Y，即：

基于源语言编码器的隐藏层状态和软模板编码器的隐藏层状态，目标语言Transformer解码器使用编码器-解码器多头注意力联合使用源语言和模板信息生成*终翻译Y. 另外，目标序列解码器针对不同的编码器使用了两组注意力机制参数。解码器分别使用源句上下文 X=(x1, ..., xm) 和目标模板上下文 T=(t1, ..., tn) ，然后我们的模型通过关注源上下文获得两个隐藏状态和模板上下文，这里我们使用门控单元将包含源语言信息的隐藏层状态和包含模板信息的隐藏层状态融合，如下图：

与传统的 NMT 类似，为了使模型能够预测目标序列，我们使用*大似然估计来更新模型参数。当我们在不使用模板 Transformer 编码器的情况下训练 P(Y|X) 时，我们只需要优化以下损失函数：

当我们使用模板 Transformer 编码器训练 P(Y|X,T) 时，可以通过以下公式计算损失函数：

在实践中，我们发现优化这两个目标可以让模型更容易训练，避免模板中噪声的干扰，获得更高的BLEU分数，因为存在一些低质量的模板影响翻译质量. 通过同时优化两个目标，我们可以减少一些低质量模板的影响，提高模型的稳定性。为了平衡这两个目标，我们的模型同时对这两个目标进行迭代训练，如下所示：

实验与分析

为了证明该方法的有效性，我们在多数据集、多语言上进行了实验，包括IWSLT14德英翻译任务、WMT14英德翻译任务、LDC汉英翻译任务和ASPEC日汉翻译任务。实验表明，与基线模型相比，我们的方法取得了更好的结果，这表明软目标模板可以有效地指导翻译过程并产生积极的影响。同时，我们的方法可以用于不同规模、语言和领域的数据集。

表 1：LDC 汉英翻译任务结果

表 2：WMT14 英德翻译任务结果

表 3：IWSLT14 德英翻译任务结果

表 4：ASPEC 日中翻译任务结果

总结

在这项工作中，我们提出了一种机器翻译模型，该模型使用源文本和软模板来生成翻译。我们的方法可以从子树中提取模板，子树是从解析树的特定深度获得的。然后，我们使用 Transformer 模型来预测源文本的软目标模板。此外，我们结合源文本和模板信息来指导翻译过程。我们在多个数据集上比较了软模板神经机器翻译模型 (ST-NMT) 与其他基线模型。实验结果表明，ST-NMT 可以显着提高翻译性能。