T task 任务
P performance measure P 度量系数
E experience 经验
监督学习
回归 与 分类问题
连续 离散
无监督学习
没有标签的分类
例如新闻分类 将相关的新闻都放在一起
聚类算法
鸡尾酒会问题
麦克风中两个声音进行分离
代价函数
parameter 是函数的参数
要做的就是得到参数值 让函数尽可能拟合数据
在参数更新过程中要让损失函数降低
回归常用平方误差函数——》二分之一差的平方
梯度下降算法
最小化代价函数
朝向梯度最大的地方下山
需要所有参数更新一遍后进行一次梯度下降(同步更新)
$$
\theta_j = \theta_j - \alpha\frac{\partial}{\partial\theta_j}J(\theta_0,\theta_1) \quad(j=0/1)
$$
参数缩放
对于参数进行处理 尽量让参数都处于相近的范围 使得函数图像更为均匀 梯度下降更为迅速
常见 归一化
奇异矩阵或者不可逆矩阵 在计算解析解时会出现问题 要观察特征 对其进行删除 同时学正规化
