经典ReLU回归！重大缺陷「死亡ReLU问题」已被解决

小白学视觉 · 公众号 · · 2025-06-04 19:00

正文

请到「今天看啥」查看全文

本研究的进一步贡献如下：

本文对 VGG-16 和 ResNet-18 进行了全面的实验，表明 SUGAR 显著增强了这两种架构的泛化能力。
本文在 Swin Transformer 和 Conv2NeXt 等现代架构上对 SUGAR 进行了评估，展示了其适应性和有效性。
对 VGG-16 层激活的深入分析表明，当应用 SUGAR 时，激活分布发生了明显的变化，为其在缓解消亡 ReLU 问题中的作用提供了直观证据，同时促进了更稀疏的表示。

SUGAR 方法易于实现，并在前向传播中始终采用 ReLU 激活函数。与所提出的 B-SiLU 替代函数结合使用时，VGG-16 在 CIFAR-10 和 CIFAR-100 数据集上的测试准确率分别提升了 10 个百分点和 16 个百分点，而 ResNet-18 与未使用 SUGAR 的最佳模型相比，分别提升了 9 个百分点和 7 个百分点。

论文标题： The Resurrection of the ReLU
论文链接：https://arxiv.org/pdf/2505.22074

SUGAR 介绍

本文提出的方法将 FGI （ Forward gradient injection ）应用于具有平滑替代函数的 ReLU 网络中。在 SUGAR 框架下， FGI 可以表示为：

该公式实现了梯度注入，并确保即使对于负激活也能进行梯度传播。具体来说，利用 [34] 中的乘法技巧，替代梯度函数的直接注入如下：

替代函数的选择具有灵活性，可兼容当前最先进的各类激活函数，例如 ELU、GELU、SiLU、SELU 以及 Leaky ReLU（见图 8）。

关键区别在于，与 ReLU 不同，这些候选替代函数均具有一个共同特征：对负输入（x < 0）能产生非零梯度。虽然这些函数为负激活提供了梯度流通路径，但前向传播及后续损失计算仍严格依赖 x > 0 时的激活输出。

在初步研究中，本文意识到需要调整当前的激活函数以适应 SUGAR 的特定用途。因此，接下来本文提出了两个与这些设置良好匹配的新替代函数。

B-SiLU：引入了一种名为 B-SiLU（Bounded Sigmoid Linear Unit）的新型激活函数，它结合了自门控特性和可调下限参数。从数学上讲，该函数可以表示为：

B-SiLU 激活函数的导数为：

图 8 中可视化了 B-SiLU 及其导数。

NeLU：本文进一步引入了 NeLU（Negative slope Linear Unit），作为 ReLU 的平滑导数替代品。

最终的梯度如图 1 所示。

实验

总体而言，与 ReLU 基线相比，SUGAR 结合 ELU、SELU 以及特别是 B-SiLU 获得了最大的提升，而 LeakyReLU 和 NeLU 则始终表现不佳（见图 2）。在 CIFAR-10 数据集上使用 ResNet-18 作为骨干网络时，B-SiLU 的性能从 76.76% 提升到 86.42%，得益于 SUGAR。VGG-16 也表现出类似的效果：B-SiLU 将测试精度提高了近 10 个百分点（从 78.50% 提升到 88.35%）。