专栏名称: PaperWeekly
PaperWeekly是一个推荐、解读、讨论和报道人工智能前沿论文成果的学术平台,致力于让国内外优秀科研工作得到更为广泛的传播和认可。社区:http://paperweek.ly | 微博:@PaperWeekly
目录
相关文章推荐
环球科学科研圈  ·  联邦学习故障诊断新突破:浙大陈为等提出Fed ... ·  2 天前  
51好读  ›  专栏  ›  PaperWeekly

ICML 2025 | 不靠复杂架构,经典GNN再证图级任务强基线地位

PaperWeekly  · 公众号  · 科研  · 2025-06-10 13:45

正文

请到「今天看啥」查看全文


. net/

forum?id=xkljKdGe4E

Can Classic GNNs Be Strong Baselines for Graph-level Tasks? Simple Architectures Meet Excellence

(ICML 2025)

https://github.com/LUOyk1999/GNNPlus

Link:

https://arxiv.org/abs/

2502.09263


引言

图级任务(graph-level tasks)是图机器学习中最具挑战性的研究方向之一,涵盖了从小规模分子图的属性预测,到大规模蛋白质图与代码图的分类与回归。在这些任务中,整个图被视为基本学习单元,要求模型能够全面理解图结构与节点属性的联合模式。


近年来,随着 Graph Transformer(GTs)和 Graph State Space Models(GSSMs)等模型在多个公开排行榜上取得优异成绩,尤其是在小分子图领域,其全局序列建模机制被认为具备天然的表示优势。


在这一趋势推动下,逐渐形成一种共识:相比基于局部消息传递机制的经典 GNNs,此类复杂模型在图级任务中更具表现力和应用潜力。


然而,已有研究 [1] 显示,经典 GNNs 在节点任务中的表现被系统性低估,其原因在于以往超参数设置不合理、评估覆盖范围有限。本研究自然延伸出一个问题: 经典 GNNs 在图级任务中是否也存在未被挖掘的性能潜力?


为此,本文构建了 GNN+框架 ,在三类经典 GNNs 模型(GCN、GIN、GatedGCN)基础上,引入六项被广泛使用的超参数技术(边特征整合、归一化、Dropout、残差连接、前馈网络、位置编码),全面评估其在 14 个广泛使用的大规模图级任务数据集中的表现。主要发现如下:


  • 经典 GNNs 在全部数据集上进入前三,8 个数据集取得第一,性能全面对标或超越当前 SOTA GTs、GSSMs 等架构

  • 经典 GNNs 有显著的训练效率优势,更适合大规模图学习场景

  • 通过消融实验,系统验证了 GNN+ 框架中每个模块的有效性,揭示其对性能的独立与联合贡献

这些结果再次重申: 经典 GNNs 在图表示学习中的核心地位不应被忽视,简单模型在合理设计与调优下,依然是图级任务中的强大竞争者



GNN+框架介绍

GNN+ 是一个统一增强框架,适用于经典 GNNs。其核心在于在消息传递基础上,融入如下六项广泛使用的超参数技术,用以提升表示能力和训练稳定性:


  • 边特征整合 :将边特征引入消息传递过程,有助于建模节点之间更丰富的结构关系,特别适用于分子图等边信息关键的任务

  • 归一化 :对每层输出应用 normalization,可缓解协变量偏移,提高训练稳定性与收敛速度

  • Dropout :在激活后对节点表示进行随机丢弃,有效抑制过拟合,并减少图中节点表示间的共适应性







请到「今天看啥」查看全文