基本概念
- 机器学习：机器找函数的过程；
函数的类别：regression、classification、Structured Learning（写文章，画图） - 如何找一个函数：
2.1 使用linear model
利用domain knowledge初始化一个带参数的函数：y = b + wx
Model：带有未知parameters的function；
feature：x
weight：w
bias：b
2.2 根据训练数据定义一个Loss函数
L（b, w）
label：正确的数值；
e = |y - y^|：L是MAE
e = |y - y^|2：L是MSE
error surface：
2.3 Optimization
w*,b*=arg min L
使用Gradient Descent方法来优化；
设置学习速率（超参数，用户自定义的值）；
- 从linear model到flexible modle
Modle bias
piecewise Linear
y = sigmoid(b + wx1)
Rectifiled Linear unit（activation function）
overfiltering：训练资料上loss降低，真实资料上loss增加；
