多元梯度机器学习

公式的变化

特征缩放 归一化

作业一已经用过这个方法了

学习率

学习率太小的话 收敛速度慢
学习率太大的话 会导致这样的结果 可能不会每次迭代都下降 甚至可能不收敛

特征和多项式回归

将一个变量的多次 拟合在一个方程中

正规方程法

导数为0 各个偏导均为0

下图中的thete是为了求X的左逆，乘转置是为了它拥有逆矩阵，免得没法算了

梯度缺点：
1.选择学习效率，运行多次
2.多次迭代，速度可能慢
正规方程
1.不需要学习效率和迭代
2.如果n很大 时间复杂度O（n2）很慢，n很大用梯度下降
正规方程法要是不可逆的原因：多余的特征；或者有太多的特征了（需要删除掉一些特征）
通常10000是分界点

正规矩阵不可逆的情况

满秩就可逆，线性相关的列删了就行