专栏名称: 蚂蚁技术AntTech
分享蚂蚁集团的技术能力和技术文化。
目录
相关文章推荐
阿里技术  ·  Cursor入门:MCP开发调用和项目实战 ·  昨天  
稀土掘金技术社区  ·  我在 pre 直接修改 bug,被领导批评了 ·  21 小时前  
51好读  ›  专栏  ›  蚂蚁技术AntTech

论文秀Live#12 NeurIPS 2024|智能科技的深度探索:从知识代理到语言模型训练的成本优...

蚂蚁技术AntTech  · 公众号  · 程序员  · 2024-12-10 15:36

正文

请到「今天看啥」查看全文



AMOR: A Recipe for Building Adaptable Modular Knowledge Agents Through Process Feedback / AMOR: 可适应的知识智能体构建方法


本研究开创性地提出了AMOR,一个能够融合事实知识与领域知识,进行智能生成的知识代理。它基于有限状态机,构建了与外部知识库交互的推理逻辑,通过灵活切换模块,解决用户提出的各类开放问题。用户可直接对模块提供反馈,形成高效的过程监督。我们采用两阶段微调策略,先通过公开数据集样例训练基座语言模型,使其具备泛化能力;再利用过程反馈,将其精准适配至特定知识环境。实验证明,AMOR在多个领域的知识正确性上,均远超基线模型。




Rethinking Memory and Communication Costs for Efficient Data Parallel Training of Large Language Models / 重新审视显存和通信成本对大语言模型高效数据并行训练的影响







请到「今天看啥」查看全文