学界 | DeepMind 连发两文：从可微分界树构建深度最近邻表征到合成梯度与解耦神经接口的深入研...

机器之心 · 公众号 · AI · 2017-03-04 11:57

正文

请到「今天看啥」查看全文

近日 DeepMind 连发两篇论文，其都注重于开发一种更加高效、可解释的模型或算法。其中机器之心重点关注了 DeepMind 使用深度学习构造高效、可解释的最近邻分类树，初步了解了边界树及其变换构造深度最近邻表征。其次 DeepMind 发表了合成梯度 (SG) 与解耦神经接口 (DNI) 深入研究，并表明了 SG 的并入并不会影响神经网络学习系统的表征强度。

论文：Learning Deep Nearest Neighbor Representations Using Differentiable Boundary Trees
论文地址：https://arxiv.org/abs/1702.08833

摘要

随着计算机硬件水平的进步和算法效率的提升，K 近邻（K-Nearest neighbor/kNN）法近年来已经越来越受到欢迎。如今机器学习模型有很多算法可以选择，每一种都有其自身的长处与短处。其中所有基于 K 近邻（kNN）的方法都要求在样本间有一个优良的表征（representation）和距离度量（distance measure）。

我们引进了可微分界树（differentiable boundary tree）这一新方法，该方法能学习深度 K 近邻的表征（Deep kNN representations）。我们的方法建立在最近提出来的边界树（boundary tree）算法之上，该算法能进行高效的最近邻分类、回归和检索。通过将树中的遍历建模作为随机事件（stochastic events），我们能构建与树预测（tree's predictions）相关联的可微分成本函数。通过使用深度神经网络转换（transform）数据还有沿树进行反向传播，模型就能学习 K 近邻法的优良表征。

我们证明了该方法能学习合适的表征，并通过清晰的可解释架构提供一个非常高效的树。