最小二乘问题

目标函数为若干个函数的平方和的最优化问题：

线性最小二乘--直接求导闭式求解

若fx是关于x的线性函数，

写成矩阵形式

由于f(x)是凸函数，因此：x必是全局极小点。因此对于线性最小二乘问题，只要ATA非奇异，就可用式(3-3)求解。

非线性最小二乘：

若(1-1)中f(x)是非线性函数，且f(x)存在连续偏导数，即，则问题(1-1)成为非线性最小二乘问题，因此不能利用式(3-3)求解。

原理是反向沿着梯度方向下降，因为过于贪心，容易走出锯齿路线

 GN法：选择增量在x附近进行二阶近似，然后对增量求一阶导数，

 M-估计

SLAM中的很多状态估计都是以最小化误差平方和作为代价函数，一个偏离较大的外点会对估计结果产生巨大的影响。而M估计的主要思想便是将原先误差的平方项替换为一个增长没那么快的函数，同时保证自己的光滑性质（能求导），获得更加鲁棒的最小二乘，这个函数又称为鲁棒核函数。主要为了降低外点的权重