IJCV 2025 | SRConvNet：一种用于轻量级图像超分辨率的 Transformer 风...

正文

请到「今天看啥」查看全文

接下来，应用一个高效的像素混洗模块，随后接一个3×3卷积层，根据缩放因子 将 上采样到所需的高分辨率空间：

其中 是通过3通道3×3卷积 对 重建的高分辨率残差图像， 表示像素混洗操作。在这项工作中，作者用一个1×1卷积替换了Lim等人和Zhang等人研究中的3×3卷积，以实现轻量级上采样器。最终的高分辨率图像 通过将 与 的双线性插值高分辨率图像相加得到：

其中 表示缩放因子为 的双线性插值。

作者使用SISR中常用的 像素损失来优化提出的SRConvNet，定义为：

其中 是 的原始真实高分辨率图像。

3.2 傅里叶调制注意力

最近的研究表明，使用逐元素乘法的大内核注意力（LKA）网络能够像ViT一样拥有大感受野，对长距离依赖关系进行建模。与MHSA的二次计算相比，这种LKA可以以线性复杂度获得相当的识别精度。受此设计原理的启发，如图2b所示，傅里叶调制注意力（FMA）执行区域频率 - 空间调制，在空间和通道维度上从局部到全局学习上下文信息，实现对长期和短期依赖关系的建模。

具体来说，在FMA中，作者首先将傅里叶变换和1×1卷积相结合，将空间特征投影到频谱域以学习频率信息，然后进一步利用逆傅里叶变换将频率特征重新投影回空间域。根据频谱卷积定理，作者的傅里叶 - 卷积 - 逆傅里叶操作可以有效地处理整个图像级别的频谱，从而能够捕获全局感受野。这个过程可以表述如下： （i）空间到频谱：2D离散实快速傅里叶变换（RealFFT）

请到「今天看啥」查看全文