模型崩溃自救指南：5行代码实现TTA鲁棒性飞跃，天大×腾讯开源COME方案

正文

请到「今天看啥」查看全文

法

ICLR 2025 上发表的论文 COME: Test-time adaption by Conservatively Minimizing Entropy 提出了一种保守的熵最小化方法，能够解决熵最小化导致的模型崩溃问题。

论文标题：

COME: Test-time adaption by Conservatively Minimizing Entropy

收录会议：

ICLR 2025

论文链接：

https://arxiv.org/abs/2410.10894

GitHub链接：

https://github.com/BlueWhaleLab/COME

COME 的核心创新在于显式建模预测不确定性，并通过自适应正则化防止过度自信。具体方法如下。

2.1 基于主观逻辑的不确定性建模（解决过度自信问题）

问题：传统 softmax 输出无法区分“不确定”和“错误”的预测，导致模型对异常样本依然高置信度。

方法：引入主观逻辑（Subjective Logic），将模型输出转换为 Dirichlet 分布，生成：

• 类别置信量（belief mass）：对每个类别的支持证据。

• 不确定性量（uncertainty mass）：反映模型对当前样本的总体不确定性。

效果：模型可以明确表达“我不知道”，避免对不可靠样本强行给出高置信度预测。

2.2 保守熵最小化目标（解决模型崩溃问题）

问题：直接最小化熵会迫使模型对所有样本降低不确定性，包括噪声和离群值。

方法：优化主观意见的熵（而非 softmax 熵），并约束不确定性质量不偏离预训练模型的初始估计：

请到「今天看啥」查看全文