今天谈论的重点是数值稳定性，在计算机编程中，有很多算法都需要考虑数值稳定性。比如在机器学习算法中我学过的Logistic回归的牛顿迭代解法，在牛顿迭代时需要解线性方程组，由于Hessian矩阵是对称正定的，用Cholesky矩阵分解不但可以大大减少运算量，而且还具有很好的数值稳定性。借此机会来更多地了解一下数值稳定性。
在计算机编程中，有时候同一个计算问题，不同算法中舍入误差对计算的结果产生的影响各不相同，舍入误差对计算结果的精确度影响小的算法，具有较好的数值稳定性；反之，算法的数值稳定性差。所设计的算法的舍入误差在一定条件下要能够控制。否则就像蝴蝶效应一样，使风和日丽的美洲几个月后出现狂风暴雨。
接下来我们先来看一个比较经典的例子。
题目：计算如下积分的值
分析：很容易，可以进行如下推导过程
根据这个递推式，可以计算任意的
，但是我们再计算一下放大的误差，得到
可以看出误差是逐渐放大的，在一定范围内无法控制，这样做的结果就是最终答案与真实答案相差十万八千里。
为了提高数值的稳定性，我们在设计算法时需要遵循如下几个原则
（1）尽量减少运算次数
（2）加法运算时，避免大数加小数
（3）避免两个相近数相减
（4）避免小数做除数或大数做乘数
（1）尽量减少运算次数
比如计算多项式的秦九韶算法，再比如下例
题目：计算
的值，要求精确到
。
分析：用两种方法进行比较，以此说明运算次数的重要性。首先采用如下公式计算
即得到
要精确到
，就要计算100000项，而且还有精度损失，此方法效率太低。再考虑另一种方法
这样的话取
，得到
要精确到
，只需要计算前4项就行了，因为
可以看出第二种方式大大减少了计算量，精度相应也会损失很少。
（2）加法运算时，避免大数加小数
针对浮点数来说，由于有效数字的保留问题，大数会“吃掉”小数。
（3）避免两个相近数相减
比如在二次方程求根问题中，解
，如果
并且
接近
，这样求出
其中有两个相近的数相减，这会导致误差增大，但是考虑另一种方法，先计算出
然后再根据
计算得到
，这样做误差大大降低。
（4）避免小数做除数或大数做乘数
高斯消元中，选主元与不选主元计算得到的结果有差异，因为如果不选主元可能遇到小数做除数的情况。从
而导致结果出现偏差。
