CVPR 2025｜首个面向图像-表格任务的半监督框架 STiL: 全面挖掘多模态任务相关信息

正文

请到「今天看啥」查看全文

定义如下：

为温度系数， 表示总样本数。最终，DCC 模块的整体损失为：

其中， 和 为权重系数。

模态内与模态间交互模块： 该模块旨在同时捕捉模态内部的相关性以及模态之间的互补信息。我们设计了一个专用的 Transformer 层，其中包括：(1) 基于模态特有表示的自注意力机制，用于提取模态内依赖；(2) 基于共享与特有表示之间的交叉注意力机制，用于建模模态间交互。交叉注意力定义如下：

其中： ， ，其中 为线性变换权重。共享表示 是将图像与表格的共享向量拼接后，经过线性映射得到的： 。

该 Transformer 层最终输出增强的共享表示 ，以及更新后的模态特有表示

请到「今天看啥」查看全文