心慕手追，让机器像人一样理解句子 | 论文访谈间 #14

正文

请到「今天看啥」查看全文

但是句子是由不同的词构成的，不同的词包含的信息量不同，对句子的语义表示影响也就不同。如何能区分出这些词汇，给予重要的词更多的注意力，对句子语义的表示有着重要的意义，同时也有助于机器对句子语义的理解。来自中国科学院自动化研究所的王少楠，张家俊和宗成庆老师发表在国际人工智能联合会议（IJCAI）上的文章“Learning Sentence Representation with Guidance of Human Attention”通过对人类阅读和句子理解机制的模仿，找到了一种新的编码句子语义的方法。

在理解句子语义方面，人类无疑是机器最好的老师，那么人类是如何阅读和理解句子的呢？由于组成句子的词所包含的信息量不同，因此人类在阅读和理解句子时会选择性的注意句子中的某些词汇，也会选择性的跳读一些词汇，这种注意力机制（图 1）让人阅读和理解句子变得更加高效。

▲ 图1：人类阅读过程中的眼动（注意力）轨迹

受人类注意力机制的启发，作者认为在构建句子表示时应该给重要的词汇赋予较高的权重，这样可以得到更好的句子语义表示。那么哪些词汇对句子含义的表达更重要呢？同样我们从人类阅读文本时的注意力分布寻找答案，大量的有关人类阅读时间的研究证明了词汇的特性，如词性、词长、词频、词汇惊异度（Surprisal）等，都会影响人类阅读文本时对这个词汇的关注程度。因此，作者选择了词汇惊异度和词汇的词性来对词汇的重要程度进行建模。

请到「今天看啥」查看全文