最小二乘法(一元)推导
1 声明
本文的数据来自网络，部分代码也有所参照，这里做了注释和延伸，旨在技术交流，如有冒犯之处请联系博主及时处理。
2 最小二乘法简介
最小二乘法是一种优化的方法，它主要是通过最小化误差的平方和来做函数拟合的方法。
Excel版演示过程见 Excel一元线性回归示例
3 最小二乘法一元推导
有如下回归模型
其中a，b，μ2 都是不依赖于x的未知参数，记ε=Y-（a+bx）。
这里令残差平方和的表达式为：
则取Q分别对a，b取偏导数，并令它们为零。
则得(重复的加换成乘，相同的加提取公因子)正规方程组
这里因为xi不全相同，（借助克拉姆法则）则正规方程组的系数行列式为
即方程组有唯一解。
则得到 a和b的值
成为Y对x的经验回归方程。
带入^a后，回归方程又可写成如下形式：
Qe称之为残差平方和，它是回归函数在xi处的值与xi处的yi偏差的平方和。
