【Transformers】Transformers Assemble（PART II）

正文

请到「今天看啥」查看全文

• 计算 similarity score，其中 为相对位置编码

• 计算输出，其中 为 attention weight

扩展到多头注意力整体结构为，

2.3 Other tricks

• relative position embedding & catching mechanism ^[8]
• adaptive attention span ^[9]
• adaptive softmax ^[10]

实验结果验证了FFN层和persistent vector的重要性，缺少的话效果非常差。每一层persistent vector的数量在N=1024时已经达到比较好的效果。

2.4 reference

• Code Here（没找到 - -）
• Making Transformer networks simpler and more efficient ^[11]
• Open Review ^[12]

Large Memory Layers with Product Keys ^[13]

同样来自FAIR的工作，解决的痛点： 更好的模型性能——>更大的模型capacity——>更大的计算成本 。提出了一种structured memory，在明显增加模型capacity的同时计算成本的增加可以忽略不计，而且是简单可插拔式设计，下图是文中将vanilla transformer中的（部分）FFN层替换为memory layer的示例。

3.1 Overall Structure

来看整体的设计，包含了三个部分：

• 「Query Network：」 通过函数 将 维输入降维映射到latent space生成维度为 的 query ；

请到「今天看啥」查看全文