扛鼎之作！Twitter 图机器学习大牛发表160页论文：以几何学视角统一深度学习

正文

请到「今天看啥」查看全文

图 2：Klein 的爱尔兰根纲领将几何学定义为研究在某类变换下保持不变的性质。我们通过保持面积、距离、角度、平行结构不变的刚性变换（建模为等距群）定义 2 维欧氏几何。仿射变换将保持平行结构，但并不能保证距离或面积不变。射影变换的不变性最弱，只保持交点和交比不变，对应于以上三种变换中最大的群。因此，Klein 认为射影几何是最为通用的。

爱尔兰根纲领对几何学和数学的影响是极为深远的，其影响也延伸到了其它领域（尤其是物理学），对对称性的思考使我们可以从第一性原理出发导出守恒定律（例如，举世闻名的「诺特定理」）。数十年后，人们通过规范不变性的概念（于 1954 年由杨振宁和米尔斯提出的广义形式）证明这一基本原理成功地统一了除引力之外的所有自然基本力。这就是所谓的标准模型，它描述了我们目前所知道的所有物理知识。

正如诺贝尔奖获得者、物理学家 Philip Anderson 所言：

“it is only slightly overstating the case to say that physics is the study of symmetry.’’

稍显夸张地说，物理学就是对对称性的研究。

我们认为，当下的深度（表征）学习研究领域的情况与 19 世纪的几何学研究是相似的：一方面，深度学习在过去十年间为数据科学领域带来了一场革命，它使许多之前被认为无法实现的任务成为了可能——无论是计算机视觉、语音识别、自然语言翻译或围棋游戏中都是如此。另一方面，我们现在拥有了各种适用于不同数据的神经网络架构，但是却很少发展出统一的原理。因此，我们很难理解不同方法之间的关系，这不可避免地使我们对相同的概念进行重复开发。

图注：现代的深度学习——有各种各样的架构，但是缺乏统一的原理。

与 Klein 的爱尔兰根纲领相类似，Michael Bronstein 等人在论文「Geometric deep learning: going beyond Euclidean data」（https://arxiv.org/abs/1611.08097）中引入了「几何深度学习」的概念，作为近期从几何学的角度将机器学习统一起来的尝试的总称。 这样做有两个目的： 首先，它提出了一个通用的数学框架，从而推导出当下最成功的神经网络架构； 其次，它给出了一种有建设性的过程，以一种有条理的方法构建未来的框架。

在最简单的情况下，有监督机器学习本质上是一个函数估计问题：在训练集（例如，带有标签的狗和猫的图片）上给定某些未知函数的输出，试图从某些假设函数类别中找到一个函数 f，该函数可以很好地拟合训练数据，使模型可以预测出先前未见过的输入对应的输出。在过去的十年间，以 ImageNet 为代表的大型、高质量数据集和不增长的计算资源（GPU）使我们可以设计各种可以被用于此类大型数据集的函数。

请到「今天看啥」查看全文