Facebook用CNN做机器翻译：速度比对手快9倍

量子位 · 公众号 · AI · 2017-05-10 12:59

正文

请到「今天看啥」查看全文

这一项目的研究人员们在Facebook官方博客发表的文章称，通常情况下，人工智能翻译依靠递归神经网络，即RNN，而这种新技术利用了卷积神经网络，即CNN。

RNN以线性方式分析数据，对于一个句子将从左至右进行阅读，并逐个单词地翻译。与此不同，CNN同时关注数据的不同方面，这样的计算方式更适合GPU硬件，而GPU是用于训练当代神经网络的主要工具。

因此，使用CNN模型进行翻译意味着更多地从整体着眼，可以分析更高层次的句子结构。Auli表示：“在文字的基础上，CNN建立起了逻辑结构，有些类似于语言学分析。”

Facebook的CNN机器翻译包括两个步骤：系统读取一个法语短语（编码器），然后输出一个英语翻译（解码器）。也就是说，首先，编码器用CNN同时为每个法语词创建一个向量，然后，解码器逐个生成英语词。每一步，网络的注意力(attention)都会关注整个法语短语，来决定在生成下一个英语词的过程中，哪些法语词是最相关的。