专栏名称: 机器之心
专业的人工智能媒体和产业服务平台
目录
相关文章推荐
java1234  ·  大模型行情变了,差别真的挺大。。。 ·  10 小时前  
java1234  ·  大模型行情变了,差别真的挺大。。。 ·  10 小时前  
黄建同学  ·  微软给新手的11节AI ... ·  昨天  
黄建同学  ·  ChatGPT的记忆是如何工作的↓ ... ·  昨天  
51好读  ›  专栏  ›  机器之心

业界 | 搜狗机器翻译团队获得 WMT 2017 中英机器翻译冠军

机器之心  · 公众号  · AI  · 2017-08-12 09:33

正文

请到「今天看啥」查看全文




WMT 是机器翻译领域的国际顶级评测比赛之一。近年来,几乎所有的研究机构在发表关于机器翻译新方法的论文时,都会以 WMT 数据集作为实验数据,并以 BLEU 评分来衡量方法的有效性,给出一个量化的、可比的翻译质量评估,因此,WMT 数据集已经成为机器翻译领域公认的主流数据集。


事实上,WMT 是一个开始自 2006 年 ACL 的国际机器翻译研讨会,提供统一的数据集,内容通常集中于新闻,并将结果以竞赛的形式呈现出来,旨在促进机器翻译研究机构之间的学术交流和联系,推动机器翻译研究和技术的发展。从去年开始,WMT 正式从一个研讨会(workshop)变成了一项会议(conference),作为自然语言领域顶级会议 ACL 或 EMNLP 的分会,延续竞赛的性质,扩展任务的范围以及语言对的数量。今年的 WMT 2017 将跟随 EMNLP 一起在 9 月举行。作为新闻机器翻译任务的 7 个语言对之一,中英语言对首次出现在比赛任务中,并由南京大学、厦门大学、中科院等机构联合协助提供相关数据。共有 20 支团队提交了中文-英文翻译系统、15 支团队提交了英文-中文翻译系统。参赛队伍包括美国的约翰霍普金斯大学(JHU)、俄勒冈州立大学、美国空军研究实验室;加拿大的加拿大国家研究院(NRC)、英国的爱丁堡大学、罗彻斯特大学;中国的中科院计算技术研究所、厦门大学等。


Sogou NMT 在中文到英文翻译任务中名列第一。其中,在中文到英文翻译任务的八项评价标准中(其中四项为 BLEU 及 BLEU 的变体),获得了七项第一。


Sogou NMT 的模型主体采用了业界主流的神经机器翻译模型:基于循环神经网络(recurrent neural network, RNN)的多层编码器-解码器(encoder-decoder)结构,并带有注意力(attention)模块。


神经机器翻译在大规模翻译任务上第一次获得超越统计机器翻译(SMT)的效果不过是 2014 年的事情(著名的 RNN encoder-decoder 结构就发表在 2014 年的 EMNLP 上),如今三年过去了,机器翻译顶级论文中已经几乎难以见到统计机器翻译的身影,神经机器翻译已经成为了机器翻译领域的主流。如今,简单地对神经网络模型的套用已经不足以被顶级会议接收,研究者们讨论的核心问题通常是如何优化神经网络结构以便解决机器翻译中的词对齐、罕见词、长句等难点问题。2014 年提出的注意力(attention)模块就是针对性处理因为不同语言语法结构不同产生的语序不同、来源词与目标词对齐难的问题。注意力机制通过选全局性的选择关注源语言橘子的不同部分,动态地构建上下文向量来对传统 RNN 编码器-解码器进行了优化,极大改善了语言调序,尤其是中长距离调序问题。最近,谷歌的学者又提出了完全基于注意力的翻译架构,注意力机制不再是连接编码器和解码器的模块,而是模型的主体,取得了性能上的突破。当然,从工程实践角度,如今主流的机器翻译系统,无论是谷歌、脸书还是搜狗,都仍然使用 RNN 编码器-解码器结构。







请到「今天看啥」查看全文