两者思想的差异
最小二乘估计与极大似然估计都是用来样本值来估计真实值的，之所以需要估计，是因为用数学量化真实世界事物关系时总是存在误差。
-
我们尽管痛苦的承认了有不能解释的误差，但是我们依然想尽可能的让这种『不被解释』的误差程 度最小，于是我们就想最小化区种不被解程的程度。因为点可能在线的上面或者下面，故而距离有 正有负，取绝对值又大麻烦，于是我们就直接把每个距旁都取一个平方变成正的，然后试图找出一 个距离所有点的距离的平方最小的这条线 这就是最小二乖法°、了，简单粗暴而有效。
-
而极大似然则更加的有哲理一些。还用上面的例子，我们观察到了三个点，于是我们开 什么我们观察到的是这三个点而不是另外三个？大千世界，去云众生，这么多人都有不后 不同的学历，但是偏偏这三个点让我给观察到了。这肯定说明了某种世界的真相。什么世界的真相呢？因为我们观案到了这三个点，反过来说，冥冥之中注定了这三个点被我们观察 到的概率可能是最大的。所以我们希望找到一个特定的底新和教育增量新水的组合，让我们观祭到 这三个点的概率最大，这个找的过程就是极大似然估计。
总结一句话：最小二乖法的核心是权衡，因为你要在很多条线中间选择，选择出距离所有的点之 最短的;而极大似然的核心是自恋，要相信自己是天选之子，自己看到的，就是冥冥之中最接近1真相的。
最小二乘法
拟合二维直线
用最小二乘拟合直线的例子很常见，例如直线：y＝a+bx
根据最小二乘思想，无法使根据大量样本（x，y点对），估计a、b，即可拟合出直线方程
计算过程：
-
写出误差平方公式
-
对a、b分别求偏导
-
解算a、b即可获得拟合的直线方程
拟合三维平面
三维直线不容易表示（两平面交线），所以拟合平面来看下最小二乘如何工作
通常三维平面表示为：ax + by + cz +d =0
-
将其转化为：z = ax + by + c
-
误差平方公式：
-
计算误差最小时的a、b、c即计算该方程的极值，求偏导：
即：
-
将其改为矩阵方程,得：
-
求解该恰定方程即可得到a，b，c。上述方程也可以用AX=b表示，该方程可以通过两边同时乘以系数矩阵的逆矩阵求得，即X=A-1Ab
极大似然估计
公式相关性
最大似然估计和最小二乘法怎么理解
