batch vs mini-batch gradient descent
batch:段,块
与传统的batch梯度下降不同,mini-batch gradient descent将数据分成多个子集,分别进行处理,在数据量非常巨大的情况下,这样处理可以及时进行梯度下降,大大加快训练速度
mini-batch gradient descent的原理
两种方法的梯度下降图如下图所示
微信扫一扫
batch:段,块
与传统的batch梯度下降不同,mini-batch gradient descent将数据分成多个子集,分别进行处理,在数据量非常巨大的情况下,这样处理可以及时进行梯度下降,大大加快训练速度
两种方法的梯度下降图如下图所示
相关推荐