专栏名称: PaperWeekly
PaperWeekly是一个推荐、解读、讨论和报道人工智能前沿论文成果的学术平台,致力于让国内外优秀科研工作得到更为广泛的传播和认可。社区:http://paperweek.ly | 微博:@PaperWeekly
目录
相关文章推荐
PaperWeekly  ·  ICML 2025 | ... ·  昨天  
环球科学科研圈  ·  24小时热门|苹果新研究炮轰推理模型全是假思 ... ·  昨天  
51好读  ›  专栏  ›  PaperWeekly

ICML 2025 | 认知科学驱动跨域学习!SynEVO仿突触进化机制,泛化性能提升42%

PaperWeekly  · 公众号  · 科研  · 2025-06-04 12:17

正文

请到「今天看啥」查看全文


(最易样本)

3. 动态排序机制


  • 计算所有 与基准的向量差

  • 升序排列,形成学习序列

  • 距离基准越近的样本组学习优先级越高

优势

  • 通过梯度空间保持样本间关联性

  • 动态确定学习路径,避免孤立处理数据

  • 无需预设难度标签,实现自适应排序

2.2 互补双分支共性个性学习器

受大脑记忆中海马体-新皮质层的互补功能启发,构建了双分支学习器,以分别容纳两种主要知识,并进一步引入神经递质传递、神经元活性传导等主要神经特性,该学习器主要包含弹性共性容器与个性提取器,形成如下功能:


1. 建立互补记忆,模拟新皮层记忆长期稳定的知识技能,而海马体获得新的快速知识;


2. 随着接收信息的增加,基于神经递质释放与传递激活更多神经元。


双分支学习器具体设计如下:

2.2.1 弹性共性容器分支

深度学习模型可以自动融合所有样本的模式,当迭代地输入新样本时,获取的知识不断增加,应扩大共性。通过组织良好的任务序列,能够在神经网络中模拟大脑知识的扩展。下图便表示了弹性共性容器的整体架构:

▲ 图2. 弹性共性容器(Elastic common container)学习过程


核心框架


提出融合神经突触递质释放机制与深度正则化技术,通过数据复杂度感知动态调节模型容量:


双参数调控 :同步控制 Dropout 概率 和 L2 权重衰减系数 ,二者均与样本组难度呈负相关;


基于神经递质传递的数学建模 :将突触前-后神经元活跃性差异 映射为梯度空间差异 ,建立可解释的参数控制链路。

关键技术实现


1. 梯度差异量化


定义基准域 :选取梯度平方和最小的样本组作为“最简单”基准

计算相对难度指标:

其中 为当前域与基准域在梯度空间的向量差

2. 动态参数函数 (改进的神经递质释放模型)


通过 Dropout 及正则化权值来控制模型的可伸缩性(scalability):


Dropout 概率控制器

是所有梯度向量的最大长度








请到「今天看啥」查看全文