【机器学习】神经网络 | 神经网络基础知识全梳理，神经网络组成，优化及其常见的神经网络

AdaBoost（Adaptive Boosting）是一种用于二分类问题的集成学习算法，通过结合多个弱分类器来构建一个强分类器。以下是AdaBoost算法的详细说明：

基本思想：

1. 初始化权重： 对每个样本赋予初始的权重，初始时所有样本的权重相等。

2. 迭代训练： 进行多轮迭代，每一轮训练都会构建一个弱分类器，并调整样本的权重。

3. 弱分类器选择： 在每轮训练中，选择一个弱分类器，该分类器应该在当前样本分布下表现相对较好。

4. 权重调整： 根据弱分类器的错误率，调整被错误分类样本的权重，使其在下一轮训练中受到更多关注。

5. 强分类器构建： 将每个弱分类器赋予一个权重，最终通过加权组合形成一个强分类器。

6. 最终预测： 对于新样本，通过强分类器的加权组合进行预测。

算法步骤：

1. 初始化权重：

   • 对于有N个样本的训练集，每个样本的初始权重为

     AdaBoost（Adaptive Boosting）是一种用于二分类问题的集成学习算法，通过结合多个弱分类器来构建一个强分类器。以下是AdaBoost算法的详细说明：

     基本思想：

   • 初始化权重： 对每个样本赋予初始的权重，初始时所有样本的权重相等。

   • 迭代训练： 进行多轮迭代，每一轮训练都会构建一个弱分类器，并调整样本的权重。

   • 弱分类器选择： 在每轮训练中，选择一个弱分类器，该分类器应该在当前样本分布下表现相对较好。

   • 权重调整： 根据弱分类器的错误率，调整被错误分类样本的权重，使其在下一轮训练中受到更多关注。

   • 强分类器构建： 将每个弱分类器赋予一个权重，最终通过加权组合形成一个强分类器。

   • 最终预测： 对于新样本，通过强分类器的加权组合进行预测。

   • 算法步骤：

   • 初始化权重：

     • 对于有N个样本的训练集，每个样本的初始权重为 1/N。

   • 迭代训练：

     • 对于每一轮迭代 t=1,2,…,T，执行以下步骤：
       • 训练一个弱分类器 ht​，该分类器在当前样本分布下表现较好。
       • 计算弱分类器的错误率errt​，即被错误分类的样本的权重之和。
       • 计算弱分类器的权重
       • 更新样本权重：对于被错误分类的样本，增加其权重；对于被正确分类的样本，降低其权重。
       • 归一化样本权重，确保它们的总和仍为1。

   • 强分类器构建：

     • 将每个弱分类器 ht​ 乘以其权重 αt​，并将它们加权求和，得到最终的强分类器 H(x)=∑t=1T​αt​ht​(x)。

   • 最终预测：

     • 对于新样本，通过强分类器 H(x) 进行二分类预测。

   • 特点与优势：

   • 适应性： AdaBoost会根据之前的错误调整样本权重，从而对之前的错误更加敏感，提高了模型的适应性。

   • 简单的弱分类器： AdaBoost可以使用简单的弱分类器，例如深度为1的决策树桩，而仍能得到强大的整体模型。

   • 降低过拟合风险： 通过对每一轮训练中的错误样本加权，AdaBoost减少了对噪声的过度拟合，提高了模型的泛化能力。

   • 不需要调整太多参数： AdaBoost的主要参数是迭代轮数（T），通常不需要过多的调整。

   • AdaBoost在实际应用中表现良好，但对异常值敏感，因此在使用时需要注意数据的质量。

特点与优势：

• 适应性： AdaBoost会根据之前的错误调整样本权重，从而对之前的错误更加敏感，提高了模型的适应性。

• 简单的弱分类器： AdaBoost可以使用简单的弱分类器，例如深度为1的决策树桩，而仍能得到强大的整体模型。

• 降低过拟合风险： 通过对每一轮训练中的错误样本加权，AdaBoost减少了对噪声的过度拟合，提高了模型的泛化能力。

• 不需要调整太多参数： AdaBoost的主要参数是迭代轮数（T），通常不需要过多的调整。

AdaBoost在实际应用中表现良好，但对异常值敏感，因此在使用时需要注意数据的质量。