顶会论文｜“秒赔”背后的技术：蚂蚁保联合浙江大学提出基于MoLE的缓解大模型幻觉方案

正文

请到「今天看啥」查看全文

LVLM 幻觉困境频现

LVLMs已成为解决视觉语言任务的主流范式，然而，幻觉问题的存在不仅损害了输出的准确性，还削弱了LVLMs在智能理赔等场景中的可靠性。

现有的幻觉缓解方法主要依赖对比解码技术，通过“业余模型”来过滤错误输出。通常，专家模型（即原始 LVLM）与较弱或更混乱的模型对比，以差异筛除幻觉。尽管此方法有所成效，但其局限在于对较弱模型的依赖，而这些模型未必总能提供准确指导。

认识到传统对比解码方法的局限性，蚂蚁保联合浙江大学深入研究了视觉语言大模型幻觉产生的机制，发现LVLMs的解码过程中，幻觉可能在推理和事实信息注入过程中产生，同时随着生成token数量的增加，对原始prompt的遗忘也可能导致幻觉的出现。

为此，研究团队从 混合专家模型（Mixture of Experts, MoE） 框架中汲取灵感，提出了一种无需训练的解码方法—— 层级专家混合模型（MoLE） 。MoLE利用启发式门控机制动态选择LVLMs的多个层作为专家层，通过各专家的协同合作，增强了生成过程的鲁棒性和忠实性。实验结果表明，MoLE显著减少了幻觉现象，在三种主流LVLMs和两个已建立的幻觉基准测试中均优于当前最先进的解码技术，展示了LVLMs独立生成更可靠和准确输出的潜力。

MoLE 专家妙招破解

MoLE识别了三个关键专家： 最终专家层(Final Expert) 来自最后一层，负责优化最终输出； 第二意见专家层(Second Opinion Expert) 从最后几层中选取，提供可供参考的其他见解； 提示保持专家层(Prompt Retention Expert) 选择能最好保留原始输入的层，确保模型的输出保持遵循输入。

图1 MoLE解码算法示意图

请到「今天看啥」查看全文