神经进化：一种不一样的深度学习

正文

请到「今天看啥」查看全文

综上所述，为了使搜索空间具有适当的粒度，根据实际问题的要求，设计遗传编码和相应的神经进化算法非常重要。因此，我们我们先来回顾一下遗传编码的概念。

遗传编码

有效的神经网络是能够进行有效的变异和重组人工神经网络的前提。拥有强大表示能力的神经网络不用分析高度复杂的数据结构就能够快速的处理紧凑的遗传密码（compact genetic codes）。换句话说，神经进化算法只在遗传编码上操作，而不是在机器学习框架中复杂的数据结构上操作。当然，基因编码允许这两种表示之间存在映射关系。

基因组的这些有效的遗传表示被称为基因型（genotypes），而相应映射的神经网络被称为显型（phenotypes）。这两个术语是从遗传进化学科中化用的。毕竟神经进化也称的上是遗传进化。另外注意，这里将所有显型都限制为神经网络。

图2：直接遗传编码

基因编码一般可分为两个子类：直接编码和间接编码。虽然还有第三类发展性编码，但这种编码我们先忽略不计，毕竟这两年也没啥进展。直接编码表示神经网络的各个方面，它们在遗传表示中显式编码（如上图2所示）。直接编码直接在基因型中编码每个连接及其相应的权重，但通过排除神经网络中的偏差和激活函数的可能性来限制搜索空间。

这种直接编码可以表示任意的前馈和递归拓扑，也能够产生最优的拓扑。但“拓扑”太灵活的话，粒度的搜索空间就会变得非常庞大。因此需要设计良好的神经进化算法才能快速遍历该搜索空间。

图3：间接遗传编码

间接编码的功能是规定那些无法直接“翻译”成人工神经网络的自定义编码。也就是说为了将基因型映射到神经网络，需要一个由间接编码规定单独的“翻译”能力。如果间接编码设计得当，那么即使神经网络非常复杂，也可以通过搜索空间实现有意义且快速的遍历。

虽然可以从直接编码快速创建人工神经网络，但是缺少间接编码的翻译能力却会减慢处理速度，并且可能导致“粗粒度”。所以在决定使用哪种编码之前，必须考虑两种编码的优缺点。

但是两种遗传编码都证明了遗传编码如何确定搜索空间的大小，例如。例如通过控制激活函数或某些层类型确定搜索空间。

繁殖方法与解决方式探索

有种遍历搜索空间的方法被称为繁殖的过程（the process of reproduction），这种方法与神经进化所使用的遗传编码密切相关。通常通过突变或重组基因组来创造新的基因组，新的基因组也继承了旧的基因组。突变让后代基因组探索人工神经网络新的结构、权重和超参数。重组基因组本质上是将两个基因组及其独特的特征合并。

突变与遗传编码紧密相关，因为神经网络的参数只能突变到以遗传编码表示的程度。因此，为神经进化算法定义突变有以下三种情况。1、遗传编码的哪一部分会发生突变？是拓扑、权重、还是超参数？2、基因组中选定的部分会发生多大程度的突变？例如，神经进化算法可以对低适应度基因组使用较大的突变，对高性能基因组使用微小的突变。3、突变采用何种方式。是定向？还是随机？

请到「今天看啥」查看全文