Pytorch-Lightning训练技巧
梯度累计
- 在
Trainer
中设置accumulate_grad_batches=k
,可以使得模型在进行k
个batch_size
后再进行反向传播。 - 假设
batch_size=N
,这样的效果相当于batch_size=k*N
。
# 默认没有梯度累计
trainer = Trainer(accumulate_grad_batches=k)
微信扫一扫
Trainer
中设置accumulate_grad_batches=k
,可以使得模型在进行k
个batch_size
后再进行反向传播。batch_size=N
,这样的效果相当于batch_size=k*N
。# 默认没有梯度累计
trainer = Trainer(accumulate_grad_batches=k)
相关推荐