RAG市场的2024：随需而变，从狂热到理性

OSC开源社区 · 公众号 · 程序员 · 2025-02-24 17:17

正文

请到「今天看啥」查看全文

但是第二点管理和利用专属知识文件，以及第三点控制幻觉，现在反而是我认为 RAG 最大的杀手锏。

（一）专属知识文件管理

因为 RAG 这种外挂文件的形式，我们便可以构建一个知识文件管理的系统来维护系统内的知识，包括生效和失效时间，知识的协作，以及便捷地为知识更新内容等。RAG 在知识维护上，既不需要像传统 NLP 那样由人工先理解再抽取问答对，也不需要像微调（fine-tune）那样需要非常专业的技术能力，以及微调之后的繁琐对齐（alignment）优化。所以如果客户的知识内容更新比较频繁（假设每天需要追加、替换大量实时资讯内容），特别是金融证券、企业情报等场景，RAG 知识更新便捷的特性真的非常合适。

（二）RAG 的幻觉控制

RAG 的幻觉控制是一个有争议的话题，我之前写过类似观点，也有同学斩钉截铁地认为 RAG 和幻觉控制八竿子打不着，但我现在依然坚持 RAG 可以有效控制幻觉这个观点。

首先我们可以来看看 LLM 幻觉产生的主要原因：

(1) 对于用户的提问输入，LLM 内部完全没有相应的知识来做应对。比如你问大模型，上周三我在思考一件事，但是现在想不起来，你帮我想想是什么。例子虽然夸张，但显而易见，LLM 也不知道，但是它会一本正经给你一些建议，当然肯定不是你想要的；

(2) 当我们给 LLM 原始问题，以及多个模棱两可或互相影响的参考材料，那么 LLM 给出的最终答案也会出错。

好，那么针对以上问题，是否我们解决好对原始问题的 “理解 - 检索 - 召回”，送到 LLM 的 context 足够清晰（指的是没有歧义内容、检索相关度高），结果就会非常准确？根据我们的实践结果，答案是明确的：今年 9 月份我们对一些项目进行了槽位填充（消除模糊问答）和元数据辅助之后，问答准确率可达到 98% 以上。比直接把大文本扔进同一个 LLM 测试的问答准确率几乎高出 14 个百分点。

有同学会说，LLM 幻觉的深层原因是 temperature 或者说概率引起的。就我纯个人观点来看，现当下的 LLM 参数足够大、知识量足够多，temperature 引起的偏差对于最终结果的正确性影响已经微乎其微了。

（三）市场表现

你应该看出来了，在 RAG 和微调之间，我明显站队了，而且从一年前就开始站队了，我们创业的技术方向也是如此。从今天来看，我觉得 RAG 在 2024 年的表现确实要强于微调。