【学习】模型融合方法概述

我理解的Kaggle比赛中提高成绩主要有3个地方

1. 特征工程

2. 调参

3. 模型融合

之前每次打比赛都只做了前两部分，最后的模型融合就是简单的加权平均，对于进阶的Stacking方法一直没尝试，这几天摸索了一下还是把Stacking方法给弄懂了。(本文重点讲解Stacking,Bagging和Boosting有很多权威的好教程，所以不详细介绍)最早的Stacking思想早些年就有论文发表，但是应用Stacking方法到比赛中的相关文章还是少之甚少，这有两篇 KAGGLE ENSEMBLING GUIDE 、 HUMAN ENSEMBLE LEARNING 讲的很棒，但是之前因为理解不到位，有几处卡住了。在 @Wille 的文章 如何在 Kaggle 首战中进入前 10% 中Stacking只是作为一部分提到。因此决定自己写一篇关于模型融合的文章。本文不涉及到各个算法原理层次的深度，目的在于从宏观上帮助理解这几个模型融合方法。