Bagging、Boosting、Stacking的原理

  Bagging（Bootstrap Aggregating）算法即自助聚合算法，是一种基于统计学习理论的集成学习算法，主要用于提高机器学习模型的稳定性和泛化能力。具体来说就是，先以Bootstrap方式（有放回重复采样）构造多个样本集，每个样本集分别训练得到一个学习器，最后将各学习器的输出综合起来，得到一个最终的输出，如果是分类，多采用多数投票的方式，如果是回归，采用取平均的方式，代表性算法如随机森林。