正文
异质信息网络(又称异质图)是一种包含了两种以上顶点类型或关系类型的图结构数据(如图1a)。为了能够将异质图中蕴含的丰富语义信息嵌入到低维向量空间中,当前的主要方法是通过元路径将异质信息网络转化为同质图,再利用同质图的嵌入式表示方法学习该网络的向量表示(如图1b)。以HAN为例,该方法为学术异构信息网络定义了元路径“作者->文章->会议->文章->作者”来表示网络中“两个作者在同一个会议中发表过文章”的语义,进而得到了在该语义(元路径)上的同质图,最后利用图神经网络对该同质图进行嵌入式表示学习。
图1:异构信息网络和元路径示意图。(a)关于学术信息的异构信息网络(b)基于元路径的异质图嵌入式表示方法示意图。
基于元路径的异构图表示学习方法依赖于领域专家预先定制的元路径,然而异质信息网络中蕴含的丰富语义信息往往很难用多个元路径穷尽。此外,在使用元路径来寻找目标顶点的邻居节点的过程中丢失了元路径途经的丰富信息,例如途经的链接边类型、顶点属性等。因此,如何在不损失异构信息的情况下对异构信息网络进行嵌入式表示学习是一项巨大的挑战。
为了能够得到更丰富的语义表示向量,本文提出了一种不再基于元路径的异构图嵌入式表示学习方法,命名为HetSANN(Heterogeneous Graph Structural Attention Neural Network)。如图2所示,HetSANN直接对原始的异质信息网络进行图结构卷积操作,通过目标任务(例如目标顶点分类等)的引导来挖掘异质信息网络中的结构信息并学习顶点的低维嵌入式表示。HetSANN的每一层为专门为异质结构网络设计的具有类型感知能力的注意力卷积层(Type-aware Attention Layer,TAL)。
p
图 2:HetSANN模型整体框架示意图
为了提高模型的语义捕捉能力,每个TAL采用多头注意力机制对顶点的邻域节点进行信息聚合。如图3所示,TAL中的每一个注意力头都由两部分组成:1)顶点类型空间转换操作;2)邻域信息的聚合。以图中的顶点P1为例,首先我们将顶点P1以及它的邻居节点映射到P1节点类型(文章)的隐式空间中,即,将文章类型的邻居顶点通过
进行如公式(1)所示的线性变换映射到“文章”空间中,作者类型的邻居顶点通过