0
点赞
收藏
分享

微信扫一扫

Bias - Variance Decomposition

偏差-方差分解定理

解释了训练的数据和调控因子lamda(惩罚项里的)的作用

因为机器学习的真实目标是期望风险最小化,其可以分解为三个部分

Noise:像是多项式产生数据,会给原本的sinx+noise产生数据以拟合真实的数据,

Bias:hx是理论上最优的f,所以偏差就是通过训练集得到的函数f和期望得到的函数差多少

Variance:是指在一份训练数据上得到的函数和多份训练数据的平均之间相差多少

 

第一行,第一个,每一条红色的线就是在一份数据上产生的结果

第一行,第二、三个,是由于不同的lamda导致的图像不同

第二行,第一个,红色线代表上边100个数据集产生结果的平均,绿色线代表sin2pai;结果是稳定的欠拟合,

同时这幅图也是帮助理解的

上图说明了lamda的重要性,过大和过小的lamda都会使模型偏向bias或者vairance型 

欠拟合:减小lamda,或者增大模型复杂度,比如原本是线性模型,那么就可以考虑使用非线性模型或者神经网络等更加复杂的模型

过拟合:增大lamda,或者减小模型复杂度

 

第三种情况:训练和验证是在学的同一种数据,概率分布是相同的,但是在测试的时候,可能是换了一种数据,学的的概率分布是不同的,这就会出现这种情况,对于这种情况,可以考虑使用迁移学习来解决问题

举报

相关推荐

0 条评论