1. Sequence to Sequence

例如语言翻译：

• 输入：Jane visite l'Afrique en septembre. 即
• 输出：Jane is visiting Africa in September. 即

为了实现这个过程，首先实现一个编码网络（Encoder Network），将输入的句子编码为一个向量；然后通过一个解码网络（Decoder Network），来输出翻译后的句子。如图所示：

相关论文参考：

• Sequence to Sequence Learning with Neural Networks
• Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation

2. Image Captioning

即看图说话，给一张图片，然后输出对应的文字描述。例如下面的图片：

文字描述为：A cat sitting on a chair.

实现过程与上面翻译的例子相似。只不过首先是通过CNN作为编码网络来得到一个向量，然后通过类似的解码网络输出描述文字。

3. Beam Search

（1）算法

通过前文讲解，我们已经知道在机器翻译工程中，使用了一个编码网络和一个解码网络。如图所示：

这个网络结构与之前的语言模型非常相似，只不过语言模型只有解码网络这部分，并且其输入是一个零向量。因此可以任务机器翻译使用的是一个条件语言模型，即在给定条件（输入的句子）的情况下的语言模型。因此最终计算的其实是：

给定一句原文，翻译的结果可能有多个，例如原文为：Jane visite l'Afrique en septembre. 翻译结果可能为：

• Jane is visiting Africa in September.
• Jane is going to be visiting Africa in September.
• In September, Jane will visit Africa.
• Her African friend welcomed Jane in September.

那么如何选择最合适的译文呢？其实就是求：

因此需要有一个算法来最大化这个条件概率。在这个场景中，常使用的是 beam search 算法，算法过程如下：

首先选择译文的第一个单词 ，假如词典里一共有10000个单词，我们设置了 ，那么就需要从词典中选取三个最有可能是译文开头的单词，即选取最大的三个 。 例如选取“jane”，“in”，“september”作为三个候选项。

第一个单词选定之后，就要开始选择第二个单词。由于第一个单词有三个选择，词典一共有10000个单词，因此此时一共有30000个组合。我们需要选取最大的三个 ，在这里需要注意的是 。例如到这一步，我们选取的译文前两个单词为“in september”，“jane is”，“jane visits”。

在选取了前两个单词的基础上，再去选择第三个单词。依次类推。如果设置了 ，那么每一步就要选出十个候选项。那么如何选择合适的 呢？

• 越大，可选的结果就越多，越有可能得到最好的结果，但是计算量也随着增大
• 越小，可选的结果就越少，最终的结果可能不是最好的，但是算法运行会快一些

在实践中，根据应用不同，会选择不同大小的 。

（2）Length Normalization

在实际使用过程中，会对目标函数做一些调整。考虑到 beam search 最终求的是：

即：

但是由于 都是介于0到1之间的小数，因此相乘之后会导致乘积非常小，甚至会导致underflow，在这种情况下，需要作出调整，将所求目标提调整为：

但是这样依然存在着一个缺点，即由于 都是介于0到1之间的小数，也就是说 都是负数，因此最终的结果是倾向于选择简短的翻译结果（因为翻译结果越长，累加的负数越多，目标值就越小）。为了避免这种情况，需要调整目标函数为：

其中 是一个超参数，介于0到1之间：

• 当 时，相当于没有做归一化处理
• 当 时，相当于用译文长度来做归一化
• 大多数情况下，

（3）误差分析

Beam Search 是一种近似搜索算法（区别于BFS、DFS这样的精确搜索），或者说是启发式搜索算法，它并不总是输出最好的结果。因此需要通过误差分析来判读是RNN模型（编码和解码）导致的误差还是由于Beam Search算法导致的误差。

例如下面的例子（机器翻译效果不如人工翻译）：

• 原文：Jane visite l'Afrique en septembre.
• 人工翻译：Jane visits Africa in September. ()
• 机器翻译：Jane visited Africa last September. ()

通过计算 和 ：

• 如果 ，则说明 Beam Search 算法没有能够选出最好的结果，因此是 Beam Search 算法出了问题
• 如果 ，则说明 RNN 对差的翻译给了更好的概率值，因此是 RNN 模型出了问题

如果对目标函数应用了长度归一化，那么应当将应用了长度归一化的值进行比较。

在实际过程中，会对多个样本进行误差分析，然后统计 RNN 和 Beam Search 造成的错误比例，然后对出错更多的那部分进行优化。

（4）BLEU得分

另一个问题是，在翻译过程中，可能会有多个同样好的结果，那么应该如何衡量准确性呢？例如下面的例子：

• 原文：Le chat est sur le tapis.
• 参考译文1：The cat is on the mat.
• 参考译文2：There is a cat on the mat.
• 机器翻译1：the the the the the the the.
• 机器翻译2：The cat the cat on the mat.

BLEU的理念是，观察机器翻译的结果，看生成的词是否出现在至少一个参考译文中。BLEU需要首先计算：

其中：

• 表示译文中的 元组，例如对于机器翻译2：
  • : the, cat, the, cat, on, the, mat
  • : the cat, cat the, the cat, cat on, on the, the mat
• 表示 在译文中出现的次数
• 表示 在参考译文中出现的最大次数

例如对于参考译文1，；对于参考译文2，，计算如下：

$ngram$	$count(ngram)$	$count_{clip}(ngram)$
the cat	2	1
cat the	1	0
cat on	1	1
on the	1	1
the mat	1	1

最终的BLEU得分计算为：

其中 表示 brevity penality，即避免翻译结果太短从而导致BLEU得分偏高，其取值为：

相关论文参考 BLEU: a Method for Automatic Evaluation of Machine Translation.