有人说别太把图神经网络当回事儿

正文

请到「今天看啥」查看全文

有了全矩阵，情况会变得容易

如果不考虑物理领域的内容，并假设存在全邻接矩阵，那么很多问题就会迎刃而解。

首先，网络节点嵌入不再是问题。一个节点就是矩阵中的一行，因此它本身已经是数字向量。

其次，所有网络预测问题也都被解决。一个足够强大且经过良好调整的模型将只提取网络与附加到节点上的目标变量之间的全部信息。

NLP 也只是一种花哨的矩阵压缩

让我们把目光从图转移到自然语言处理（NLP）领域。大多数 NLP 问题都可以看成图问题，所以这并不是题外话。

首先，像 Word2Vec、GloVe 这类经典词嵌入模型只进行了矩阵分解。

GloVe 算法基于词袋（bag of words）矩阵的一种变体运行。它会遍历句子，并创建一个（隐式）共现图，图的节点是词，边的权重取决于这些单词在句子中一同出现的频率。之后，Glove 对共现图的矩阵表示进行矩阵分解，Word2Vec 在数学方面是等效的。

语言模型也只是矩阵压缩

NLP 中许多 SOTA 方法都离不开语言模型。以 BERT 为例，BERT 基于语境来预测单词：

这就使我们正在分解的矩阵从词对共现发展为基于句子语境的共现：

我们正在培养待分解的「理想矩阵」。正如 Hanh & Futrell 所说：

人类语言和语言建模具有无限的统计复杂度，但可以在较低层次上得到很好地近似。这一观察结果有两层含义：

我们可以使用相对较小的模型获得不错的结果；

扩大模型具备很大潜力。

语言模型解决了很大的问题空间，以至于从柯氏复杂性（Kolmogorov Complexity）角度来看，它们可能近似压缩了整个语言。庞大的语言模型可能记住了很多信息，而不是压缩信息。

我们能像语言模型一样对任意图执行上采样吗？

实际上，我们已经在做了。

我们将图的「一阶」嵌入称为通过直接分解图的邻接矩阵或拉普拉斯矩阵（Laplacian matrix）来运行的方法。只要使用拉普拉斯特征映射（Laplacian Eigenmap）或采用拉普拉斯的主要组成部分进行图嵌入，那它就是一阶方法。类似地，GloVe 是词共现图上的一阶方法。我最喜欢的图一阶方法之一是 ProNE，它和大多数方法一样有效，但速度快了一个数量级。

高阶方法嵌入了原始矩阵和邻居的邻居连接（第二阶）以及更深的 k 步连接。GraRep 表明，通过扩展图矩阵可以基于一阶方法生成高阶表示。

高阶方法是在图上执行的上采样。基于大型邻域采样的 GNN 和 node2vec 等随机游走方法执行的是高阶嵌入。

性能增益在哪儿？

过去 5 年中，大多数 GNN 论文的实验数据对从业者选择要使用的模型都是无用的。

请到「今天看啥」查看全文