专栏名称: 机器学习算法与自然语言处理
一个有情怀的公众号。机器学习、自然语言处理、算法等知识集中营、期待与你相遇~
目录
相关文章推荐
知产宝  ·  典型案例 | ... ·  3 天前  
51好读  ›  专栏  ›  机器学习算法与自然语言处理

ACL2025 | LLM的“记忆”与“推理”该分家了吗?一种全新的训练范式,彻底厘清思考流程

机器学习算法与自然语言处理  · 公众号  ·  · 2025-05-27 00:00

正文

请到「今天看啥」查看全文


  • 推理阶段 :基于记忆结果进行逻辑推导
  • 通过这种方式,我们让语言模型在每一步“思考”中都清楚地知道:你现在是在回忆,还是在推理!

    图片

    为什么要做这件事?

    现有的LLM在执行任务时,常常把“知识回忆”与“逻辑推理”混杂在一起,这带来两个严重问题:

    1. 知识遗忘与错用 :模型可能在多个推理步骤之间丢失或篡改关键知识;
    2. 幻觉不可控 :我们不知道模型的错误来源是“记错了”,还是“推错了”。

    我们的目标就是 —— 让每一步错误都能被追踪、被解释、被修复

    我们是怎么做的?

    我们设计了一个完整的数据生成-训练框架(见图一):

    用两个更强大的LLM生成训练数据:

    • 推理LLM生成带 memory/reason 标签的解题过程






    请到「今天看啥」查看全文