主要观点总结
本文主要讨论了大模型在工作记忆方面的表现,通过三个实验来检验大模型是否具备类似人类的工作记忆能力。实验包括数字猜谜、是非问答和数学魔术等任务,涉及多个大模型的测试,并讨论了不同模型的表现和存在的问题。文章还提到了未来研究方向,如借鉴认知科学、引入可读写的内存格等方法来改善大模型的工作记忆能力。
关键观点总结
关键观点1: 工作记忆的定义和重要性
工作记忆负责把刚获得的信息保留几秒到几十秒,并进行推理、计算、对话等复杂操作。对人类而言,工作记忆是连续交流的关键;对于大模型,工作记忆是评价其是否具备通用人工智能潜力的重要指标之一。
关键观点2: 实验概述
文章通过三个实验来测试大模型的工作记忆能力:数字猜谜实验通过重复提问来检验模型是否能在心中保留数字;是非问答实验通过一系列问题检验模型是否能持续保持一致的回答;数学魔术实验则检验模型在连续心算过程中的记忆保持能力。
关键观点3: 实验结果与分析
实验结果显示,大部分大模型在工作记忆方面的表现并不理想。在一些任务中,模型的回答无法做到持续一致,甚至出现自相矛盾的情况。尽管有些模型在某些任务中表现稍好,但总体来说,大模型在工作记忆方面还存在较大差距。
关键观点4: 未来研究方向
为了提高大模型的工作记忆能力,未来可以借鉴认知科学的研究方法,引入可读写的内存格机制,或者通过强化学习、神经模块化等方法让模型学会在体内保留并操纵隐变量。这些研究方向有望为改善大模型的工作记忆能力提供新的思路和方法。
正文
结果发现问到 20‑40 题时,GPT‑4 级别模型开始露馅:
「
比汽车大
」
同时又
「
比足球小
」
之类的
尺寸悖论
横飞。长上下文(Long-Context)推理能力更强的 GPT-4o 在通过的次数以及平均回答问题数上均超过更弱的 GPT-4o-Mini,但总计 200 次测试中也仅仅有 27 次成功通过。这说明大模型仅通过其长上下文能力在完成任务,而非一个一致的工作记忆。
实验 3: 数学魔术(Math Magic)
任务流程:心中记住 4 个随机数(如 3‑5‑2‑9),然后依次执行 10 步心算:复制、置底、插入、删除、…… 最终理论上剩下 2 个相同的数。
团队沿用实验 1 中的 17 个模型,统计它们最后 2 个数字相同的概率:
图 7: 17 个模型在数学魔术中的准确率,下图为使用 CoT 的模型以及推理模型(LRM)。
结果发现主流模型正确率普遍非常低。研究者尝试加 CoT 也没用。 DeepSeek‑R1 以 39% 勉强排名第一,但仍有巨大提升空间。值得注意的是模型表现与实验 1 一致 ——LLaMA-3.1-8B 效果超群。
小结
论文共测试 GPT、o1/3/4、LLaMA、Qwen、DeepSeek 等 17 个热门模型,无一通过三项考验:
-
LLaMA‑3.1‑8B 在数字猜谜最接近
「
人类
」
—— 概率和 0.98,在数学魔术上不用 CoT 也能超越 o1。
-
DeepSeek‑R1 在数学魔术拿到 39.3% 正确率的最高分,但仍远不到及格线。
-
体量更大、推理链更长≠更好工作记忆;有的升级版甚至退步。
一句话:尚无开源或闭源 LLM 通过
「
三关
」
。这意味着什么?
-
对话更真实?未来要让 AI 像人一样
「
边想边聊
」
,就得补上真正的工作记忆机制,而不仅是无限上下文窗口。
-
长链推理?现有 CoT 更多是把
「
草稿
」
写进提示里,并非模型在脑中运算。
-
新研究方向!或借鉴认知科学,引入可读写的
「
内存格
」
;或通过 RL、神经模块化等方法,让模型学会在体内保留并操纵隐变量。