基本名词介绍

• 梯度下降
• 过拟合
• 正则化
• Bias & Variance
• fine_tune
• RMS
• Adaptive Learning Rate
• Adagrad
• Feature Scaling
• Taylor Series
• SGD
• SGD with momantum
• Adagrad
• RMSProp
• Adam

梯度下降

过拟合

正则化

Bias & Variance

模型简单，bias大，variance小
模型复杂，bias小，variance大

fine_tune

RMS

Adaptive Learning Rate

Adagrad

Feature Scaling

Taylor Series

SGD

SGD with momantum

Adagrad

RMSProp

Adam