专栏名称: AI科技评论
「AI科技评论」是国内顶尖人工智能媒体和产业服务平台,专注全球 AI 业界、学术和开发三大方向的深度报道。
目录
相关文章推荐
爱可可-爱生活  ·  【[192星]openai-agents-j ... ·  7 小时前  
爱可可-爱生活  ·  本文提出了一种名为SEFT的新型稀疏LLM微 ... ·  2 天前  
爱可可-爱生活  ·  [CL]《MetaFaith: ... ·  2 天前  
爱可可-爱生活  ·  本文通过首次对大型语言模型(LLM)的“忠实 ... ·  2 天前  
爱可可-爱生活  ·  今日推介(第1790期):大块推理时训练框架 ... ·  2 天前  
51好读  ›  专栏  ›  AI科技评论

AAAI 2020 | 北大:图卷积中的多阶段自监督学习算法

AI科技评论  · 公众号  · AI  · 2020-01-12 22:41

正文

请到「今天看啥」查看全文



算法流程

图1显示了我们M3S的训练算法流程:首先在整个算法是嵌入在多阶段训练算法框架中的,在每一阶段通过找到top t confident节点加入到有标签的节点集合中来不断扩大监督信号;另一方面,在graph embedding空间中实施DeepCluster,并通过对齐机制建立和监督标签一样的虚拟标签,构造的虚拟标签作为一种自我检查机制Self-Checking,只有当多监督训练框架中探索的top-t confident的标签和DeepCluster的虚拟标签一致的情况下,才将该节点极其更加确信的标签加入到有标签的节点集合中,进而进入下一阶段的训练。具体算法流程如下:


实验


1、层数效应

在本文的实验部分我们先探究了图卷积神经网络的层数效应,即当标签比率越低时最优的层数呈现增长的趋势。这一层数效应证明了弱监督信号需要更多层数来传播的必要性。

2、多阶段训练算法框架的优势

进一步地,我们通过探讨不同K阶段的训练算法相比于只有一个阶段训练算法的优势,可以看出,当label rate越低的时候多阶段训练框架效果提升地越明显。

3、M3S的进一步提升

最后,我们将DeepCluster的自监督机制引入多阶段训练框架。从表格中的结果来看,我们容易发现最后得到M3S算法不仅对多阶段训练算法框架效果进一步提升,而且在三个数据集不同的标签比率下取得了一致最好的结果,这充分证明了我们算法的有效性。

同时本文也提供了参数的灵敏度分析,为我们的M3S在实际中的部署提供了具体的指导。







请到「今天看啥」查看全文