机器学习中集成学习（Bagging, Boosting和Stacking）简介和示例
不靠谱的猫2020-04-30 18:12
什么是集成方法？
集成方法是通过建立一组独立的机器学习模型，组合多个模型的预测对类标签进行预测的方法。这种策略组合可以减少总误差，包括减少方差和偏差，或者提高单个模型的性能。
在这里，我使用来自Kaggle的“红酒质量”数据来演示集成方法。“Quality”是我们的目标变量。我唯一要做的预处理就是将10分制的评分转换为3个分类级别，“ 1”，“ 2”和“ 3”分别代表“好”，“中”和“差”。
机器学习模型1：
默认的DecisionTreeClassifier()的准确性得分是0.815625。
Bagging
所谓的bootstrapping aggregation，其思想是在随机不同版本的训练数据上训练许多基础模型。每个模型拥有一票表决权，并且无论预测准确度如何，都做相同的处理，然后对预测变量进行汇总以得出最终结果。在大多数情况下，Bagging后结果的方差会变小。例如，随机森林是Bagging方法中最著名的模型，它将决策树与Bagging理念结合在一起。
我们通常在每一轮中使用bootstrapping方法(替换样本)从原始样本集中提取训练子集。因此，在训练集中，有些样本可能被多次使用，而有些样本可能永远不会被使用。这使得训练子集是独立的。
模型的选择没有限制，我们根据所面临的问题采用不同的分类器或回归器。每个预测模型都可以由训练集并行生成。它们同等重要，所占比重相同。在合并输出后，我们对分类问题使用多数投票，对回归问题使用平均投票。
机器学习模型2：
我们没有建立随机森林分类器，而是将决策树与BaggingClassifier()结合使用，得到了0.856250的准确率。
Boosting
boosting和bagging之间最本质的区别在于，boosting并不会同等的对待基础模型，而是通过连续的测试和筛选来选择“精英”。表现良好的模型对投票的权重更大，而表现较差的模型的权重更小，然后将所有的投票组合得到最终结果。在大多数情况下，boosting后结果的偏差会变小。例如，Adaboost和Gradient boost是boosting方法中最常用的模型。
一般情况下，每一轮的训练集保持不变，但在boosting轮次结束时，模型中每个样本在训练集中的分布可能会发生变化。这是一个迭代过程，它更关注(增加权重)以前错误分类的记录，而忽略(减少权重)前一轮中的正确记录。换句话说，它可以将弱学习者的表现提高到强学习者的水平。
与bagging不同，每个预测模型只能顺序生成，因为后一个模型的参数需要前一个模型的结果。汇总模型后，我们对分类问题使用多数投票，对回归问题进行平均。
机器学习模型3：
GradientBoostingClassifier()给我们的准确率评分为0.846875，也高于没有boost的准确率。
Stacking
对基础模型(弱学习者)的结果进行平均或投票相对简单，但是学习误差可能很大，因此创建了另一种学习方法（Stacking）。Stacking策略不是对模型的结果进行简单的逻辑处理，而是在模型外增加一层。
因此，我们总共有两层模型，即通过预测训练集建立第一层模型，然后将训练集预测模型的结果作为输入，再对第二层新模型进行训练，得到最终结果。基本上，Stacking可以减少方差或bagging/boosting的偏差。
机器学习模型4：
StackingClassifier()的准确率得分为0.875000。虽然与第1层模型相比，它不是最高的，但它成功地提高了决策树和KNN的性能。
最后
从混淆矩阵中，我们发现对于所有模型而言，葡萄酒的中等级别（第二行）确实很难预测。但是，葡萄酒的差等级（第三行）更容易识别。
尽管我们能够在不理解场景背后的情况下构建模型，但是仍然建议您了解每个机器学习模型是如何工作的。因为只有对一个模型有了更多的了解，我们才能有效地使用它，并解释它是如何正确地做出预测的。
举报/反馈
0
0
收藏
分享
