CVPR 2025 | 重建与生成：克服潜在扩散模型中的优化困境

正文

请到「今天看啥」查看全文

在训练过程中，给定的图像 均由视觉令牌的编码器和冷冻视觉基础模型处理，从而导致图像潜在的 和基础视觉表示。 ,投影 以使用线性变换匹配 的维度，其中 ，来产生 。

损失函数 最小化相应特征 和 之间的相似性差距。对于每对，计算余弦相似性，并减去边缘 。 ReLU可确保只有低于 的成对有助于损失，从而集中在不太相似的对上。最终损失是在 的特征网格中的所有位置上平均的。

Marginal Distance Matrix Similarity Loss

补充 （强制点对点绝对比对），本文还旨在使特征中的相对分布距离矩阵尽可能相似。为此提出了边缘距离矩阵相似性损失。

距离矩阵相似性损耗使特征矩阵

请到「今天看啥」查看全文