0
点赞
收藏
分享

微信扫一扫

吴恩达《机器学习》课程总结(6)_正则化

在觉 2022-06-28 阅读 23

Q1过拟合的问题

训练集表现良好,测试集表现差。鲁棒性差。以下是两个例子(一个是回归问题,一个是分类问题)

吴恩达《机器学习》课程总结(6)_正则化_拟合

第一个图明显欠拟合,第三个图过度拟合,拟合函数复杂,虽然对于训练集具有很低的代价函数,但是应用到新样本的能力并不高,图二则是两者的均衡。

 

吴恩达《机器学习》课程总结(6)_正则化_线性回归_02

解决办法:

吴恩达《机器学习》课程总结(6)_正则化_线性回归_03

 

(1)丢弃一些不能帮助我们正确预测的特征。可以使用工选择保留哪些特征,或者使用一些模型选择的算法来帮忙(PCA);

(2)正则化。保留素有的特征,但是减少参数的大小。

Q2代价函数

吴恩达《机器学习》课程总结(6)_正则化_拟合_04

其中λ称为正则化参数。

经过正则化处理的模型和原模型的可能对比如如下:

吴恩达《机器学习》课程总结(6)_正则化_拟合_05

不对θ0正则化。

Q3正则化线性回归

吴恩达《机器学习》课程总结(6)_正则化_拟合_06

吴恩达《机器学习》课程总结(6)_正则化_正则化_07

 

 

对于j=1,2,3……有:

吴恩达《机器学习》课程总结(6)_正则化_拟合_08

吴恩达《机器学习》课程总结(6)_正则化_正则化_09

可以看出,正则化线性回归的梯度下降法的变化在于,每次都会在原有算法的更新规则的基础上令θ值减少了一个额外的值。

吴恩达《机器学习》课程总结(6)_正则化_线性回归_10

正规法一次计算全局最小值

Q4正则化的逻辑回归模型

吴恩达《机器学习》课程总结(6)_正则化_线性回归_11

逻辑回归模型的正规化与线性回归正规化不同点在于h(x)的不同

 

吴恩达《机器学习》课程总结(6)_正则化_正则化_12

词汇

overfitting problem   ---过度拟合
regularization ---正则化

作者:你的雷哥

本文版权归作者所有,欢迎转载,但未经作者同意必须在文章页面给出原文连接,否则保留追究法律责任的权利。

举报

相关推荐

0 条评论