Adaboost是一种迭代算法,其核心思想是针对同一个训练集训练不同的分类器(弱分类器),然后把这些弱分类器集合起来,构成一个更强的最终分类器(强分类器)。 其算法本身是通过改变数据分布来实现的,它根据每次训练集之中每个样本的分类是否正确,以及上次的总体分类的准确率,来确定每个样本的权值。 将修改过权值的新数据集送给下层分类器进行训练,最后将每次训练得到的分类器最后融合起来,作为最后的决策分类器。 使用adaboost分类器可以排除一些不必要的训练数据特徵,并将关键放在关键的训练数据上面。 与Boosting算法不同的是,adaboost算法不需要预先知道弱学习算法学习正确率的下限即弱分类器的误差,并且最后得到的强分类器的分类精度依赖于所有弱分类器的分类精度,这样可以深入挖掘弱分类器算法的能力。 2.初始化样本权重为1/n,即为训练样本的初始概率分布; 3.第一次迭代: (1)训练样本的概率分布相当下,训练弱分类器: (2)计算弱分类器的错误率: (3)选取合适阈值,使得错误率最小 (4)更新样本权重: (5)最终得到的强分类器:
每轮循环后,权值应做多大的调整呢?这个答案依赖于当前分类器的总体误差。明确地说,如果e代表分类器在加权数据上的误差率(在0和1之间的一个小数),那么对于正确分类的实例,权值更新为 权值=权值*e/(1-e) 对于错误分类的实例,权值保持不变。当然,这并没有如前所述,增加被错误分类的实例的权值。 然而,在更新了所有实例的权值后,要进行正常化处理,使它们的权值总和与原来的相同。每个实例的权值都要除以新权值总和再乘以原来的权值总和。这样便自动 增加了每个错误分类实例的权值,同时减小了每个正确分类实例的权值。 每当在加权的训练数据集上的误差率大于等于0.5时,提升程序将删除当前的分类器并不再继续进行循环。当误差率等于0时,也同样处理,因为这时所有实例的权值都为0。 为了做出一个预测,使用一个加了权的投票来组合它们的输出。要决定这些权值,性能表现好的分类器(e接近于0)应当获得一个高的权值,而性能表现差的分类器(e接近于0.5)则应获得一个较低的权值。更具体地说 权值=-log(e/(1-e)) 这是一个0和无穷大之间的正数。为了做出预测,将投给某个具体类的所有分类器的权值相加,选择相加总和最大的那个类别。
一个弱分类器就是一个基本和上图类似的决策树,最基本的弱分类器只包含一个Haar-like特征,也就是它的决策树只有一层,被称为树桩(stump)。 最重要的就是如何决定每个结点判断的输出,要比较输入图片的特征值和弱分类器中特征,一定需要一个阈值,当输入图片的特征值大于该阈值时才判定其为人脸。训练最优弱分类器的过程实际上就是在寻找合适的分类器阈值,使该分类器对所有样本的判读误差最低。 具体操作过程如下: 在确定了训练子窗口中的矩形特征数量和特征值后,需要对每一个特征f ,训练一个弱分类器h(x,f,p,O) 。 在CSDN里编辑公式太困难了,所以这里和公式有关的都用截图了。
在表中寻找e值最小的元素,则该元素作为最优阈值。有了该阈值,我们的第一个最优弱分类器就诞生了。
强分类器的诞生需要T轮的迭代,具体操作如下: 1.给定训练样本集S,共N个样本,其中X和Y分别对应于正样本和负样本; T为训练的最大循环次数; 2.初始化样本权重为1/N,即为训练样本的初始概率分布; 3.第一次迭代训练N个样本,得到第一个最优弱分类器, 4.提高上一轮中被误判的样本的权重; 5.将新的样本和上次本分错的样本放在一起进行新一轮的训练。 6.循环执行4-5步骤,T轮后得到T个最优弱分类器。 7.组合T个最优弱分类器得到强分类器,组合方式如下: 或 1. 先通过对N个训练样本的学习得到第一个弱分类器;
2. 将分错的样本和其他的新数据一起构成一个新的N个的训练样本,通过对这个样本的学习得到第二个弱分类器 ;
3. 将1和2都分错了的样本加上其他的新样本构成另一个新的N个的训练样本,通过对这个样本的学习得到第三个弱分类器;
4. 最终经过提升的强分类器 。即某个数据被分为哪一类要通过 , ……的多数表决。
下面我们讲讲级联分类器的训练 设K是一个级联检测器的层数,D是该级联分类器的检测率,F是该级联分类器的误识率,di是第i层强分类器的检测率,fi是第i层强分类器的误识率。如果要训练一个级联分类器达到给定的F值和D值,只需要训练出每层的d值和f值,这样: d^K = D, f^K = F 级联分类器的要点就是如何训练每层强分类器的d值和f值达到指定要求。 AdaBoost训 练出来的强分类器一般具有较小的误识率,但检测率并不很高,一般情况下,高检测率会导致高误识率,这是强分类阈值的划分导致的,要提高强分类器的检测率既 要降低阈值,要降低强分类器的误识率就要提高阈值,这是个矛盾的事情。据参考论文的实验结果,增加分类器个数可以在提高强分类器检测率的同时降低误识率, 所以级联分类器在训练时要考虑如下平衡,一是弱分类器的个数和计算时间的平衡,二是强分类器检测率和误识率之间的平衡。 具体训练方法如下,我用伪码的形式给出: 1)设定每层最小要达到的检测率d,最大误识率f,最终级联分类器的误识率Ft; 2)P=人脸训练样本,N=非人脸训练样本,D0=1.0,F0=1.0; 3)i=0; 4)for : Fi>Ft l ++i; l ni=0;Fi=Fi-1; l for :Fi>f*Fi-1 n ++ni; n 利用AdaBoost算法在P和N上训练具有ni个弱分类器的强分类器; n 衡量当前级联分类器的检测率Di和误识率Fi; n for :di<d*Di-1; Ø 降低第i层的强分类器阈值; Ø 衡量当前级联分类器的检测率Di和误识率Fi; n N = Φ; n 利用当前的级联分类器检测非人脸图像,将误识的图像放入N; (liulina603) |