关于神经网络算法优化器的总结

优化器选用SGD
关于这里，就是求最优解的问题，预测值和真实值的误差就是函数方程，就是求损失值在W和b 取什么值的时候最小的问题，也就是生物神经学中的训练进化成长，有足够多的数据，训练模型让模型多次试错，就可以找到这个模型的权重和偏执，数学上就是求偏导数来求w和b这种方法计算量大，而且有很多偏导不好求解，很难求解以至于不能求解，所以工程实践中的求解算法是用的梯度下降法，换一句话说就是初始化一组权重值，算出损失，在把权重值一点点的加，算出损失值，观差损失值是变大还是表小，以调节梯度，这里就引出了优化器，也就是梯度算法优化器，不同的模型用不同的优化器和损失函数。
读书有感