性能突破Transformer！Mamba变体引爆AI圈

CVer · 公众号 · · 2025-06-16 13:05

正文

请到「今天看啥」查看全文

创新点：

设计了Mamba-in-Mamba结构，外层Mamba块处理全局特征，内层Mamba块处理局部特征，显著提升了小目标的检测精度。
通过共享网络计算视觉单词间的关系，以极小的计算开销实现了局部特征的精细化建模。
实验表明，MiM-ISTD在NUAA-SIRST和IRSTD-1k数据集上表现优异，推理速度比现有方法快8倍，GPU内存占用减少62.2%。

基于Mamba与CNN的多模态遥感目标检测

RemoteDet-Mamba: A Hybrid Mamba-CNN Network for Multi-modal Object Detection in Remote Sensing Images

方法： 论文提出了一种名为RemoteDet-Mamba的新型多模态无人机遥感目标检测框架。该框架结合了Siamese CNN网络和跨模态融合Mamba（CFM）模块，通过CNN提取多尺度局部特征，并利用Mamba的选择性扫描机制（SS2D）在四个方向上进行全局特征融合，实现了对密集分布小目标的高效检测。

创新点：

设计了CFM模块，基于Mamba的选择性扫描机制，在四个方向上对多模态特征进行全局扫描和融合，显著提升了小目标的区分能力。
结合CNN的局部特征提取能力和Mamba的全局建模优势，在保持线性计算复杂度的同时，实现了高效的多模态特征融合。
在DroneVehicle数据集上的实验表明，RemoteDet-Mamba的mAP达到81.8%，优于现有方法，同时保持了较低的参数量和较高的检测速度（24.01 FPS）。