0
点赞
收藏
分享

微信扫一扫

Pytorch-Lightning训练技巧

phpworkerman 2022-01-24 阅读 95

Pytorch-Lightning训练技巧

梯度累计

  • Trainer中设置accumulate_grad_batches=k,可以使得模型在进行kbatch_size后再进行反向传播。
  • 假设batch_size=N,这样的效果相当于batch_size=k*N
# 默认没有梯度累计
trainer = Trainer(accumulate_grad_batches=k)

梯度裁剪

举报

相关推荐

0 条评论