今日 Paper | 从纯图像重建世界；层次递归网络序列；注意力神经网络；命名实体识别等

正文

请到「今天看啥」查看全文

研究意义：通过这种方式可以将训练的模型参数和架构迁移过来，并且取得了不错的效果，事实上现在nlp中的重要预训练模型兴起，这也一定程度上证明了这种方向的可行性。

注意力神经网络序列标记模型中的特征

论文名称：Attending to Characters in Neural Sequence Labeling Models

作者：Marek Rei /Gamal K.O. Crichton /Sampo Pyysalo

发表时间：2016/11/14

论文链接：https://www.aclweb.org/anthology/C16-1030.pdf

推荐原因

核心问题：序列标注问题有一个问题需要处理，这个问题就是当一句话中出现的单词是陌生词的时候，那么此时就会出现问题。这种词称为OOV问题

创新点：创新点就是为了解决这个问题，首先单词有OOV问题，但是字符没有OOV问题，这里引入了字符级别的信息。然后引入了注意力机制，使用经典的attention+RNN+CEF的组合方式，这样通过将词级别和字符级别的向量相结合，从而达到非OVV的词的字符向量与其词向量相近。

研究意义：在许多数据集上达到了很好的效果，并且这种模型的参数较少。

请到「今天看啥」查看全文