贝叶斯神经网络毫无意义吗？Twitter、Reddit双战场辩论，火药味十足！

正文

请到「今天看啥」查看全文

一、贝叶斯神经网络有用吗？

为了更加明晰“贝叶斯网络没啥用”的立场，近期Carles Gelada 和 Jacob Buckman重新梳理了他们的思路，专门写了一篇博客，从贝叶斯网络的原理入手，详细阐述了“BNNs需要先验信息丰富的先验知识才能处理不确定性”的观点，并指出泛化的代价不容忽视。

1、贝叶斯神经网络具有不确定性的原因： 泛化不可知先验

为了说明先验在贝叶斯网络中的重要意义，Buckman在博客中引入了泛化不可知先验（generalization-agnostic priors），用这种“不可知的先验”进行贝叶斯推理并不能减少模型的不确定性。Carles和Buckman认为，要想在深度学习中使用贝叶斯框架，只有让先验与神经网络的泛化特性相联系，才能达到好的效果，方法是给泛化能力良好的函数以更高的概率。但是目前学术界还没有足够的能力（作者猜测）来证明哪种先验的情况能够满足条件。

另外，Buckman在博客中作者举了一个具体的例子：

当一个数据集 里面包含两种数据对：一种是给定输入，输出正确；另一种是给定输入，输出错误。训练神经网络所得到的参数 必须让神经网络既能够表达正确输出，也能够表达错误的输出。

即使模型 在数据集 上训练后，能够得到条件概率 ，但在测试集上模型也可能表现很差。另外，定义一种先验概率 ，可以让 ，这意味着如果泛化良好的函数与泛化不好的函数得到的分配概率是相同的。但这种先验是有问题的：由于

请到「今天看啥」查看全文