过拟合问题
欠拟合和过拟合
两种情况都会导致不准确，中间这种情况会相对准确一点。
如果我们有太多的特征，会拟合的很好，但是可能不能识别新的数据
- 减少特征的数量
- 正则化：保留所有的特征，但减少magnitude/values（权重）
代价函数
使theta3， theta4更小，则theta3， theta4更趋近0才更满足要求，即加入惩罚
theta3， theta4更趋近0，相当于简化模型，函数更平滑更简单
cost函数（约定俗称 从j=1开始）
λ是正则化参数，后边那一堆的作用就是，降低不重要参数的权重，使曲线趋近平缓，由蓝色到红色。
线性回归的正则化
梯度下降优化
因为只对theta_J求导，所以后边增加的那块就不加求和符号了。
每次迭代时，theta_J乘一个比1略小的数，参数缩小一点，其他一样。
正则化优化
增加的矩阵是(n+1)*(n+1)，即1的个数是n个
