最小二乘法普通定义法证明

                            最小二乘法普通定义法证明

 普通公示法

由线性回归的定义，我们的目标是寻求残差平方和最小。

Step 1 残差平方和的定义即如下：

注：这里 即目标实际值。

Step 2 将上式展开为每个样本的残差平方和求和的形式。

Step 3 针对每个样本对Ax均可按照分量的x进行再次展开，即：

Step 4 针对上式的二次型求偏导,进而得到：

注： 1 这里

代表X的一个分量。        2 对上式二次型求偏导时 类似于

求导数。Step 5 再结合Ax和分量的x展开互逆，又得到下式：

Step 6 去掉最外部的求和，即可写成两个向量的内积形式：

注:这里

针对矩阵A的第k列。Step 7 再由内积的定义，不难转换为两矩阵乘。此时

需要加以转置: 

Step 8 同理对q个方程都有如下式子，这时令偏导等于0,得到最优解（即损失函数最小）:

Step 9 ：针对上式求逆，即可得到最终结果：

注：这里假设

是可逆的。