文章目录
哟，新笔记来咯
今天我们学习第二章线性回归算法
首先哥哥我帮你们唤醒一下高中悲惨的回忆。
相信这种题型大家再熟悉不过了，那么一般这种题一般最后一问我相信大家或多或少回答的都和哥哥我差不多，无论会不会直接：线性相关😁
回归正题，我们为什么要求关系：为了预判求值
就像房价掌握函数方程你不就能预估出你的房子能买多少钱了吗？当然股价这种东西是没办法预估的，不要做梦
一、模型描述
首先介绍线性回归模型
1.怎么表示假设函数h
方便大家理解就是初中课本的函数f(x)=ax+b
但是既然叫假设函数他的参数也就不是x了，而是θ₀和θ₁
不容易理解的话就看这个吧，说白了也就是θ₀是b,θ₁是a
2.怎么选取模型参数θ₀和θ₁
而这里我们就引入一个新的概念叫代价函数
怎么选取？答:随意
我们的目的是使函数图像拟合数据，所以θ₀和θ₁的值的取值范围为(+∞，-∞)
二、代价函数J
1.代价函数(一)——代价函数是什么？怎么求？
①代价函数是什么？代价函数其实也就是损失函数，损失函数你看也能明白，既然有损失，那么我们就要让损失最小化，对吧？
②代价函数公式
m:数据个数
θ₀和θ₁是你随意设置的值
h(x(i))是你设置完θ₀和θ₁的基础上绘制的函数，在对应x下的y值
h(y(i))是在对于x下图像对于数据的y值
怎么求？
那举个栗子
设θ₀为0在图像中
我们看一下公式啊，为了方便理解，先固定θ₀=0绘制二维图像
图中要三个数据点那么m=3,
设θ₁=0.5，在x=1时h(x(1))=0.5，h(y(1))=1;同理在x=2时h(x(1))=1，h(y(1))=2;在x=3时h(x(1))=1.5，h(y(1))=3;
代入公式可以得到J(0,0.5)=0.58
那么θ₁的取值范围为(+∞，-∞)，绘制最终图像
2.代价函数(二)——目的：优化目标
呐，为什么要引入呢，是为了求优化目标，即最优解(代价函数的最小值)
那么如果θ₀!=0的话，
三、梯度下降
公式
梯度：哪个方向损失减少更多
ɑ：移动距离
后半部分是偏导数
但是有一个问题那就是，不同初始点会一不同梯度下降的方法
如下图
当然为了解决这种问题我们后面会写到优化器
还要注意一点就是梯度下降的方法是
正确方法：同时更新
错误方法：分步更新
要明白要是temp0求完就改变θ₀，那么求temp1时代入的θ₀是已经改变的θ₀，那么就求解出的θ₁不就不是我们要求的θ₁了，不是吗？
还有一点就是
梯度下降法取决于
①ɑ：移动距离
当偏导数不变，那么ɑ过小，运行速度慢，时间长，运算大
ɑ过大，运行不准确
②后半部分的偏导数
设ɑ大小合适，那么梯度下降同时更新的特点，偏导数部分是不断减小的
四、Batch梯度下降法(线性回归的梯度下降)
也就是我们将梯度下降法中的偏导数部分的
换成代价函数公式
