代价函数，损失函数，目标函数,正则化

损失函数（Loss Function ）是定义在单个样本上的，算的是一个样本的误差。
代价函数（Cost Function ）是定义在整个训练集上的，是所有样本误差的平均，也就是损失函数的平均。
目标函数（Object Function）定义为：最终需要优化的函数。等于经验风险+结构风险（也就是Cost Function + 正则化项）。
正则化（Regularization）：最终目的是让模型在面对新数据的时候，可以有很好的表现。（尽可能避免过拟合和欠拟合，选取最佳目标函数）