【Hinton碰撞LeCun】CNN有两大缺陷，要用capsule做下一代CNN

正文

请到「今天看啥」查看全文

在本次演讲中, Hinton讨论了用“capsule”作为下一代CNN的理由。

一个卷积神经网络（CNN）或者神经元只有一个输出AND，在处理两个输入向量时做得不好。一个“capsule”是一个多值描述符号，对应输入向量中的一个特征。

Hinton在开场白中说：“在中国，有超过1万名研究生在研究神经网络”，但是这里面有一个误区，他说：“神经网络与大脑的关系不大，它们虽然是受到大脑启发的，但是因为这是我们手动搭建的，大脑是一个完全不同的架构，并且更高效。”

卷积神经网络有什么问题？

“标准”的卷积神经网络有什么问题？

1. 结构的层次太少：神经元、神经网络层、整个神经网络

2. 我们需要把每一层的神经元组合起来，形成一个组，并装到“舱”（capsule）中去，这样一来就能完成大量的内部计算，最终输出一个经过压缩的结果。

“舱”（capsule）的灵感来自大脑皮层中的微柱体（mini-column）。

“舱”表示的是什么？

• 每一个“舱”表示的是它所检测到的类型的一个多维实体的存在和实例化参数。

  
  

• 比如，在视觉通道上，一个“舱”会检测到物体的具体对象的类型。

  
  

• 一个“舱”会输出两个东西：

1. 被呈现的对象可能的分类；

2. 对象的大概状态，包括位置、朝向、大小、变形、体积和颜色等等。

“舱”可以完成同步过滤（filtering）

一个典型的“舱”从下一层的“舱”中接收多维的预测向量，并且寻找一个更紧致的预测群（cluster）。

如果找到了一个一个更紧致的预测群（cluster），它会输出：

1. 一个高概率，即某一类型的实体存在在这个区间

2. 群的引力中心，也就是实体的大概状态

这种方法在过滤噪音上做得非常好，因为高维度的一致性的发生并不是偶然。

它比一般的“神经元”表现得要好很多。

请到「今天看啥」查看全文