AdaBoost

将多个单模型组合成一个综合模型的方式早已成为现代机器学习模型采用的主流方法。

AdaBoost正是集成学习中Boosting框架的一种经典代表。

Boosting

Boosting是机器学习中的一种集成学习框架。

之前的学习的模型都称作单模型，也称弱分类器。而集成学习的意思是将多个弱分类器组合成一个强分类器，这个强分类器能取所有弱分类器之所长，达到相对的最优性能

Boosting算法的一般过程如下。以分类问题为例，给定一个训练集，训练弱分类器要比训练强分类器容易很多，从第一个弱分类器开始，Boosting通过训练多个弱分类器，并在训练过程中不断改变训练样本的概率分布，使得每次训练时算法都会更加关注上一个弱分类器的错误。通过组合多个这样的弱分类器，便可以获得一个近乎完美的强分类器。

AdaBoost基本原理

AdaBoost的全称为Adaptive Boosting，可以翻译为自适应提升算法。

AdaBoost是一种通过改变训练样本权重来学习多个弱分类器并线性组合成强分类器的Boosting算法。

一般来说，Boosting方法要解答两个关键问题：一是在训练过程中如何改变训练样本的权重或者概率分布，二是如何将多个弱分类器组合成一个强分类器。针对这两个问题，AdaBoost的做法非常朴素，一是提高前一轮被弱分类器分类错误的样本的权重，而降低分类正确的样本的权重；二是对多个弱分类器进行线性组合，提高分类效果好的弱分类器的权重，降低分类