专栏名称: 数据派THU
本订阅号是“THU数据派”的姊妹账号,致力于传播大数据价值、培养数据思维。
目录
相关文章推荐
大数据文摘  ·  Meta首席科学家LeCun:当前 AI ... ·  3 天前  
数局  ·  青眼情报:2024年中国化妆品年鉴 ·  2 天前  
51好读  ›  专栏  ›  数据派THU

【ICML2025】多模态表示坍塌的深度剖析

数据派THU  · 公众号  · 大数据  · 2025-06-05 17:00

正文

请到「今天看啥」查看全文


我们提出了一种通过显式的基向量重分配(basis reallocation)来防止模态坍塌的算法,同时具备处理模态缺失问题的能力。


图片

我们旨在对 模态坍塌(modality collapse) 这一近期观察到的经验现象进行基础性的理解。该现象指的是,在多模态融合任务中训练的模型 倾向于依赖部分模态,而忽略其他模态

我们发现,模态坍塌发生在以下情境中:







请到「今天看啥」查看全文