正文
是一个了解高斯过程领域最优秀模型的好去处。
高斯过程的主要不足在计算方面,训练和推理过程中一般都需要计算行列式和轨迹,或者从很大的矩阵中解算系统,存储空间的需求按列长度的平方增长,而计算的时间复杂度为 O(n^3)。
近几年的进展也主要来自于更高效的算法或者近似计算方法(比如 KISS-GP、SKI、LOVE 等等)
基因算法&演化策略 Genetic Algorithms & Evolution Strategies
离散演化训练是用基因算法配置网络结构,然后让得到的模型学习。
它的一个动机来自于,在复杂环境中为稀疏的回报归因是非常困难的,所以不如完全抛弃梯度,转而采用计算更高效的演化策略,反倒可以在模型设计和参数搜索方面获得更大的灵活度、取得更好的结果。
其中采用的和大自然中的生物演化类似的「随机突变+方向性选择」的做法也规避了当前的强化学习中的一些问题。
谷歌大脑的研究员 David Ha 在这个领域做了许多研究,他也撰写了易懂的介绍博客、配上了生动有趣的动图,可以点击
这里
详细阅读。也可以参见我们
前一天的文章对神经进化的介绍
。
因果推理 Causal Inference
Judea Pearl 是这条路线的代表人物,Yoshua Bengio 等学者也加入了探索当中,并且在想办法把它和现代机器学习结合到一起。
提到这个方向的这位网友表示,他的一位做数据科学的好朋友的工作内容里就已经越来越多地涉及到因果推理,而且他认为因果推理带来的革命在日后看来可能会比深度学习革命的影响更为深远。
接着他做了详细的解释:
首先要知道的是贝叶斯网络。