统计模型的进化，机器学习袭来~~

对冲研投 · 公众号 · 财经 · 2017-06-21 21:23

正文

麦肯锡接下来的展示足够让人兴奋。盯住下图来理解一下统计模型和机器学习算法的差别。

从上图中你观察到了什么？统计模型在分类问题中得到一个简单的分类线。一条非线性的边界线区分了高风险人群和低风险人群。但当我们看到通过机器学习产生的颜色时，我们发现统计模型似乎没有办法和机器学习算法进行比较。

机器学习的方法获得了任何边界都无法详细表征的信息。这就是机器学习可以为你做的。

机器学习还被应用在YouTube 和Google的引擎推荐上，机器学习通过瞬间分析大量的观测样本给出近乎完美的推荐建议。即使只采用一个16 G 内存的笔记本，我每天处理数十万行的数千个参数的模型也不会超过30分钟。然而一个统计模型需要在一台超级计算机跑一百万年来来观察数千个参数。

在给出了两种模型在输出上的差异后，让我们更深入的了解两种范式的差异，虽然它们所做的工作类似。

以上提到的方面都能从每种程度上区分机器学习和统计模型，但并不能给出机器学习和统计模型的明确界限。

机器学习：计算机科学和人工智能的一个分支,通过数据学习构建分析系统，不依赖明确的构建规则。统计模型：数学的分支用以发现变量之间相关关系从而预测输出。

统计模型的历史已经有几个世纪之久。但是机器学习却是最近才发展起来的。二十世纪90年代，稳定的数字化和廉价的计算使得数据科学家停止建立完整的模型而使用计算机进行模型建立。这催生了机器学习的发展。随着数据规模和复杂程度的不断提升，机器学习不断展现出巨大的发展潜力。

统计模型基于一系列的假设。例如线性回归模型假设：

（1）自变量和因变量线性相关

（2）同方差

（3）波动均值为0

（4）观测样本相互独立

（5）波动服从正态分布

Logistics回归同样拥有很多的假设。即使是非线性回归也要遵守一个连续的分割边界的假设。然而机器学习却从这些假设中脱身出来。机器学习最大的好处在于没有连续性分割边界的限制。同样我们也并不需要假设自变量或因变量的分布。