从一般到特定知识的迁移，腾讯AI Lab 提出基于领域转化网络的多领域机器翻译

AI科技评论 · 公众号 · AI · 2020-02-16 14:47

正文

请到「今天看啥」查看全文

表3. 在中英大规模多领域数据集上的结果

从表2和表3可以观察到，本文提出的模型性能超过了多个主流的多领域NMT模型，并且取得了跟微调方法相媲美的结果。另外，作者也在其他数据集上取得了一致的实验结果。值得注意的是，本模型仍为单一模型，而微调方法需要N个模型来保持特定领域的特性，因此从真实系统的角度考虑，本方法更具实用价值。

最后，作者通过一系列的分析进一步说明了该方法可以更好地学习特定领域的知识来提升翻译质量。如图2所示，作者测试了不同领域转化模块的翻译性能，发现每个转化模块在相应的领域测试集上表现最佳，这与论文的期望是一致的，即每个转换组件都专门用于维护一个特定领域的知识。图3可视化了表征空间的变换过程，编码器的表征的分布集中于保存共享的知识，而转换后的表征则更多样化，以保持特定领域的特征。由此可见，该方法能够将源端知识从一般性转化为特定性。

图2. 在中英小规模多领域数据集上各领域变换网络对各领域的翻译性能

图3. 解码器输出和转化网络输出的表征可视化

此外，作者还对比了不同的领域监督策略，发现领域判别和领域蒸馏可以互补地提升翻译性能，并且词级知识蒸馏方法优于序列级方法。总之，这项研究对机器翻译等任务中的多领域知识迁移、学习问题具有重要的指导意义。更值得一提的是，本方法在没有增加参数量的情况下，能使单一模型具备多模型的性能，在真实系统上具有一定的应用价值。

AAAI 2020 报道：

新型冠状病毒疫情下，AAAI2020 还去开会吗？

美国拒绝入境，AAAI2020现场参会告吹，论文如何分享？

AAAI 最佳论文公布