专栏名称: 人工智能产业链union
人工智能产业链核心:基础技术、人工智能技术及人工智能应用。 服务机器人核心:芯片、操作系统、AI技术。 工业机器人核心:减速器、伺服机、控制器。 无人机核心:控制、环境感知、路径规划。 无人驾驶汽车核心计算机科学、模式识别、智能控制技术。
目录
相关文章推荐
机器学习研究组订阅  ·  DeepSeek-R1编程问鼎,媲美Clau ... ·  17 小时前  
人工智能产业链union  ·  【AI】AI记忆伪装被戳穿!GPT、Deep ... ·  昨天  
人工智能产业链union  ·  【AI】AI记忆伪装被戳穿!GPT、Deep ... ·  昨天  
黄建同学  ·  太好了! Claude Code ... ·  昨天  
科技日报  ·  填补空白!这项技术,我国成功掌握 ·  2 天前  
科技日报  ·  填补空白!这项技术,我国成功掌握 ·  2 天前  
51好读  ›  专栏  ›  人工智能产业链union

【AI】AI记忆伪装被戳穿!GPT、DeepSeek等17款主流大模型根本记不住数字

人工智能产业链union  · 公众号  · 科技自媒体 AI  · 2025-06-17 08:00

主要观点总结

本文主要讨论了大模型在工作记忆方面的表现,通过三个实验来检验大模型是否具备类似人类的工作记忆能力。实验包括数字猜谜、是非问答和数学魔术等任务,涉及多个大模型的测试,并讨论了不同模型的表现和存在的问题。文章还提到了未来研究方向,如借鉴认知科学、引入可读写的内存格等方法来改善大模型的工作记忆能力。

关键观点总结

关键观点1: 工作记忆的定义和重要性

工作记忆负责把刚获得的信息保留几秒到几十秒,并进行推理、计算、对话等复杂操作。对人类而言,工作记忆是连续交流的关键;对于大模型,工作记忆是评价其是否具备通用人工智能潜力的重要指标之一。

关键观点2: 实验概述

文章通过三个实验来测试大模型的工作记忆能力:数字猜谜实验通过重复提问来检验模型是否能在心中保留数字;是非问答实验通过一系列问题检验模型是否能持续保持一致的回答;数学魔术实验则检验模型在连续心算过程中的记忆保持能力。

关键观点3: 实验结果与分析

实验结果显示,大部分大模型在工作记忆方面的表现并不理想。在一些任务中,模型的回答无法做到持续一致,甚至出现自相矛盾的情况。尽管有些模型在某些任务中表现稍好,但总体来说,大模型在工作记忆方面还存在较大差距。

关键观点4: 未来研究方向

为了提高大模型的工作记忆能力,未来可以借鉴认知科学的研究方法,引入可读写的内存格机制,或者通过强化学习、神经模块化等方法让模型学会在体内保留并操纵隐变量。这些研究方向有望为改善大模型的工作记忆能力提供新的思路和方法。


正文

请到「今天看啥」查看全文



结果发现问到 20‑40 题时,GPT‑4 级别模型开始露馅: 比汽车大 同时又 比足球小 之类的 尺寸悖论 横飞。长上下文(Long-Context)推理能力更强的 GPT-4o 在通过的次数以及平均回答问题数上均超过更弱的 GPT-4o-Mini,但总计 200 次测试中也仅仅有 27 次成功通过。这说明大模型仅通过其长上下文能力在完成任务,而非一个一致的工作记忆。


实验 3: 数学魔术(Math Magic)


任务流程:心中记住 4 个随机数(如 3‑5‑2‑9),然后依次执行 10 步心算:复制、置底、插入、删除、…… 最终理论上剩下 2 个相同的数。


团队沿用实验 1 中的 17 个模型,统计它们最后 2 个数字相同的概率:


图片
图片

图 7: 17 个模型在数学魔术中的准确率,下图为使用 CoT 的模型以及推理模型(LRM)。


结果发现主流模型正确率普遍非常低。研究者尝试加 CoT 也没用。 DeepSeek‑R1 以 39% 勉强排名第一,但仍有巨大提升空间。值得注意的是模型表现与实验 1 一致 ——LLaMA-3.1-8B 效果超群。


小结


论文共测试 GPT、o1/3/4、LLaMA、Qwen、DeepSeek 等 17 个热门模型,无一通过三项考验:


  • LLaMA‑3.1‑8B 在数字猜谜最接近 人类 —— 概率和 0.98,在数学魔术上不用 CoT 也能超越 o1。

  • DeepSeek‑R1 在数学魔术拿到 39.3% 正确率的最高分,但仍远不到及格线。

  • 体量更大、推理链更长≠更好工作记忆;有的升级版甚至退步。


一句话:尚无开源或闭源 LLM 通过 三关 。这意味着什么?


  1. 对话更真实?未来要让 AI 像人一样 边想边聊 ,就得补上真正的工作记忆机制,而不仅是无限上下文窗口。

  2. 长链推理?现有 CoT 更多是把 草稿 写进提示里,并非模型在脑中运算。

  3. 新研究方向!或借鉴认知科学,引入可读写的 内存格 ;或通过 RL、神经模块化等方法,让模型学会在体内保留并操纵隐变量。

☟☟☟

☞人工智能产业链联盟筹备组征集公告☜

Manus平替方案汇总:

1、Manus平替方案一:AgentGPT 部署与应用指南:从安装到实战
2、Manus平替方案二:“AutoGPT”安装与使用全指南 ——从零开始掌握人工智能自动化工具
3、Manus平替方案三:BabyAGI 详细安装与配置指南
4、Manus平替方案四:微软 JARVIS 详细安装与验证指南
5、Manus平替方案五:CAMEL 多智能体框架的逐级深入安装指南
6、Manus平替方案六:MetaGPT 超详细安装指南(分步详解)
7、Manus平替方案七:OpenManus 详细安装指南
8、Manus平替方案八:gem-assist超详细安装步骤(分步解析)
9、Manus平替方案九:超详细 autoMate 安装手册 (Windows/macOS/Linux通用)
10、Manus平替方案十:Deep-research 项目的详细安装步骤
11、Manus平替方案十一:Node-DeepResearch 的超详细安装指南
12、Manus平替方案十二:Open-Deep-Research 超详细安装手册
13、Manus平替方案十三:camel-ai-owl 超详细安装指南
14、Manus平替方案十四:Nanobrowser 超详细安装指南
相关阅读

干货推荐:
AI加油站】第一部:《大型语言模型应用检索增强生成:改变搜索、推荐和 AI 助手》附下载
【AI加油站】第二部:《程序员的自我修炼手册》(附下载)
【AI加油站】第三部:《大规模语言模型:从理论到实践》(附下载)






请到「今天看啥」查看全文