层叠注意力模型 - 实现机器阅读的正确姿势 | 论文访谈间 #04

正文

请到「今天看啥」查看全文

通过搜索引擎我们可以轻松获取到海量的知识，可我们通常不会觉得一台电脑“知识渊博”——计算机并不理解这些知识，只能给你一系列相匹配的检索结果。在我们眼中，计算机更像是一座高级的图书馆，而不是一位能理解你所想所问的博学之士。

好消息是这一点正在逐渐改善。机器阅读理解，一项致力于教会机器阅读人类的语言并理解其内涵的研究，作为目前自然语言处理领域中的热门方向受到了广泛关注。与传统的问答系统不同的是，阅读理解任务更注重于对于篇章文本的理解，机器必须自己从篇章中学习到相关信息，而不是利用预设好的世界知识、常识来回答问题，所以更具有挑战性。目前 Google DeepMind 、 Facebook AI Lab 、 IBM Watson 、微软、斯坦福大学（ Stanford ）、卡内基梅隆大学（ CMU ）等知名研究机构都都纷纷投入到相关研究当中。

训练机器去阅读理解人类语言的方法，和训练人类阅读外语的方法有很多相似之处，其中一个重要的手段就是填空型阅读理解。机器会看到一段文本片段，并需要回答若干问题，问题的答案就出现在这段文本当中。例如：

我们在做这样的阅读题的时候常常会发现，一口气读完文章然后仅凭着对文章的印象答题可不是一个好做法，通常需要在看了问题之后再回到文章特定的地方找答案。对机器来说也是这样，目前的大多数模型都有一个注意力机制，在看了不同的问题之后，模型会把注意力放在篇章的不同部分，从而得到更精准的答案。

来自哈工大讯飞联合实验室（ HFL ）的崔一鸣、陈致鹏、魏思、王士进、刘挺老师和胡国平把问题想得更深了一步 。 他们发现此前的研究都只把问题看作一个整体，或者只考虑了问题对篇章的影响，没有仔细考虑篇章对问题的影响，而模型实际上可以利用更多的篇章 - 问题之间的交互信息。他们设计了新的层叠式注意力（ Attention-over-Attention ），对问题进行了更细致的拆解，而不是简单将其看做成一个整体，把阅读理解的研究提高到了一个全新的水平。他们的论文

请到「今天看啥」查看全文