顶会论文｜开源PEAR框架，提升RAG性能，实现零推理开销

正文

请到「今天看啥」查看全文

解锁语言模型检索能力的关键

利用大语言模型机制的探索，可以发现模型中的激活值传递依赖，在过去的研究中，已经取得了一些重要的发现。例如， Wang 等人在 GPT-2 small 模型中发现了 “ negative head ” ，它会显著阻碍模型从上下文中复制答案。 McDougall 等人进一步研究发现，这个 “negative head” 可能是一种自我修复机制，旨在防止模型产生过度自信的输出。

不同的 LLMs 中普遍存在类似的 “negative heads”，它们通过不同的机制来减轻模型的过度自信，比如生成抵消向量或引入高频令牌信息。这些发现为机制可解释性的研究奠定了基础，也为后续的模型改进和优化提供了方向。

03

PEAR框架

基于机制可解释性的解决方案

PEAR 框架旨在 释放 LLMs 的上下文感知潜力 ，进而提升其 RAG 性能，且实现了零推理开销。该框架的实现分为两个关键阶段。

请到「今天看啥」查看全文