0
点赞
收藏
分享

微信扫一扫

深度学习:动态调节学习率

 if args.bottleneck:
     optimizer = torch.optim.SGD([
         {'params': model.feature_layers.parameters()},
         {'params': model.bottle.parameters(), 'lr': args.lr[1]},
         {'params': model.cls_fc.parameters(), 'lr': args.lr[2]},
     ], lr=args.lr[0], momentum=args.momentum, weight_decay=args.decay)

最后传入的学习率以数组的方式呈现

parser.add_argument('--lr', type=list, help='Learning rate', default=[0.001, 0.01, 0.01])
举报

相关推荐

0 条评论