抛开卷积，多头自注意力能够表达任何卷积操作

正文

请到「今天看啥」查看全文

维结果concat后映射成 维的最终输出，两个新参数，映射矩阵(projection matrix) ，偏置 。

图注意力

卷积是最适合神经网络的图片操作方法，给予图片 ，卷积在 的操作如公式5， ， ，K为卷积核的大小。

在图片上应用自注意力，定义查询像素和关键词像素 ， 输入的向量大小为 为了保持一致性，用1D的符号来代表2D坐标，比如 ，用 代表 ，用 代表 。

图位置编码

位置编码目前主要有两种，分别是绝对位置(absolute)编码和相对(relative)位置编码。

在绝对位置编码中，每个像素拥有一个位置向量 (学习的或固定的)，于是公式2可以转换为公式（7）。

相对位置编码的核心是只考虑查询像素和查询像素之间的位置差异，如公式（8），大体是将公式（7）的每一项的绝对位参数改为相对位置参数。attention scores只跟偏移 ， 和 是learnable参数，每个head都不一样，而每个偏移的相对位置编码

请到「今天看啥」查看全文