主要观点总结
文章主要讨论了多模态大语言模型（MLLMs）在处理多模态信息时的表现，特别是其在深度视觉与文本融合方面的缺陷。文章以一个物理问题为例，说明了当前MLLMs在理解视觉信息方面的不足，并介绍了EMMA基准测试的目的和意义。EMMA数据集旨在评估MLLMs在多模态推理方面的能力，尤其是其在数学、物理、化学和代码等领域的表现。文章还提到了当前多模态智能面临的技术瓶颈和未来发展趋势。
关键观点总结
关键观点1: 多模态大语言模型在处理深度视觉与文本融合方面的挑战
当前的多模态大语言模型在处理涉及深度视觉与文本融合的问题时表现不足，无法有效进行需要深度视觉与文本融合的复杂多模态推理。
关键观点2: EMMA基准测试的目的和意义
EMMA基准测试旨在全面评估多模态大语言模型在跨模态推理方面的能力，尤其是其在数学、物理、化学和代码等四大领域的表现。该测试通过精心设计的考题，旨在全面考察模型在跨模态推理方面的能力，并揭示其在处理视觉信息方面的不足。
关键观点3: EMMA数据集的特点
EMMA数据集包含从现有基准中严格筛选的问题以及与相关领域专家合作手动构建的问题，共计2,788个问题。每个问题都被赋予了细致的技能标签，以便对模型的各项能力进行深入分析。数据集的构建过程经过精心设计，旨在确保其能够有效评估深层多模态推理能力。
关键观点4: 当前多模态智能面临的技术瓶颈和未来发展趋势
当前多模态智能面临两个重要的技术瓶颈：一是视觉和文本之间信息密度和抽象层次的巨大差异，导致多模态模型在预训练阶段难以实现模态特征的精准对齐和融合；二是模型普遍缺乏视觉信息生成与动态交互的能力，难以实现真正意义上的跨模态互动与视觉状态的实时更新。未来多模态智能的发展趋势将是从现有的语言主导推理模式逐步转向更深入的模态间动态协作模式。
正文
EMMA：深度考量 MLLMs 的多模态推理极限
将文本与图像信息有机结合、协同进行推理，是人类智能的一项核心能力。然而，多模态大语言模型是否真正具备这种深层次、非割裂的多模态推理能力，至今仍缺乏系统而深入的研究。当前的主流基准测试往往偏重于「文本主导」的推理过程，或仅需利用「浅层的视觉感知」而非「视觉推理」便可解决问题，难以全面衡量模型在复杂任务中对视觉与语言信息的整合能力，因而无法有效评估其真实的多模态理解与推理水平。
为应对这一挑战，研究者们提出了 EMMA—— 一个专为评估 MLLMs 在数学、物理、化学和代码这四大领域进行原生多模态推理而设计的增强型基准，具体如下图所示。EMMA 中的任务要求高级的跨模态推理，这些问题无法通过在单一模态中独立思考来解决，从而为 MLLMs 的推理能力提供了更严苛、更全面的「试金石」。
EMMA 不仅仅是一个新的评估数据集，它是一套精心设计的「考题」，旨在全面考察 MLLMs 在以下方面的能力：
-
真正的多模态融合
： EMMA 的首要标准是考验模型是否能进行「真」多模态推理。这意味着问题必须同时深度依赖视觉信息（如图表、示意图、化学结构、代码可视化）和文本信息（问题描述、逻辑条件）才能解决，从而检验模型在不同模态间无缝切换与深度整合的能力。
-
跨学科的严峻挑战
： 为了全面评估模型的泛化能力，EMMA 覆盖了数学、物理、化学和代码这四大核心科学与工程领域。这些领域的问题本质上要求精确的逻辑演绎和对特定领域知识的运用，为 MLLMs 提供了复杂且多样化的推理场景。
-
细粒度能力诊断与性能极限探索
： EMMA 不满足于笼统的评分，而是为每个学科下的具体技能（例如，数学中的「2D 变换」、「3D 空间模拟」，物理中的「受力分析」、「场模拟」等，如上图所示）提供了细致的分类。这种设计使得研究者能够精确分析模型在特定推理环节上的优势与不足，绘制出模型能力的「细粒度画像」。
该研究具有以下几个主要发现
：
