线性回归与梯度下降(理论部分)-CFANZ编程社区

一、线性回归

线性回归是指为数据集建立最符合其规律的一元或多元线性方程，是一元还是多元取决于数据集中影响结果的因素的种类，有多少种类就是几元。下面会分别介绍。

如它的名字，影响数据结果的因素种类只有一种时可运用它进行拟合。

它的形式通常如下:

$\hat{y}=ax+b$

多元线性回归与一元线性回归区别不大，唯一区别就是影响因素的种类变多了，这里不多赘述，直接给出它的形式：

$\hat{y}=w_{0}+w_{1}x_{1}+w_{2}x_{2}+......+w_{n}x_{n}$

其中为影响因素种类的个数， $w_{0}$ 为线性方程的常数项

线性回归方程求解方式主要有两种，分别是最小二乘法和梯度下降法。下面将讲解梯度下降法。

（1）建立损失函数

$Loss =\frac{1}{2m}\sum_{i=0}^{m-1}(y_{i}-\widehat{y_{i}})^{2}=\frac{1}{2m}\sum_{i=0}^{m-1}Loss_{i}$

其中 $y_{i}$ 表示数据集中第i组数据的实际结果， $\widehat{y_{i}}$ 表示对数据集中第i组数据的预测结果，m为数据组数。

$W_{i}=[w_{i0},w_{i1},w_{i2},w_{i3}...,w_{in}]$

$X_{i}=[1,x_{i1},x_{i2},x_{i3}...,x_{in}]$

则

$\widehat{y_{i}}=W_{i}\times X_{i}^{T}=W_{i}\cdot X_{i}$

这里叉乘代表矩阵乘法，点乘代表矩阵相应位置相乘

所以

$Loss_{i}=(y_{i}-\widehat{y_{i}})^{2}=(y_{i}-W_{i}\times X_{i}^{T})^{2}$

(2)求偏导

$\frac{\partial Loss_{i}}{\partial W_{i}}=-2X_{i}^{T}(y_{i}-W_{i}\times X_{i}^{T})$

(3)更新W

$W_{i}^{'}=W_{i}-lr\cdot \frac{\partial Loss_{i}}{\partial W_{i}}$

(4)判断是否在误差范围

若符合

$Loss\leqslant \varepsilon$

则停止迭代，反正继续迭代。