0
点赞
收藏
分享

微信扫一扫

模型训练trick

kiliwalk 2022-01-26 阅读 51

这里写自定义目录标题

1. 多任务模型的权重:

1.1 权重自动调节

Multi-Task Learning for Dense Prediction Tasks: A Survey
依据子任务loss的梯度,获得权重

  • 较好的实现:
    AutomaticWeightedLoss

2.自动调参

自动调参方法推荐

  1. GridSearchCV:sklearn.model_selection.GridSearchCV
  2. Random Search:先grid,再用
  3. Bayesian Optimization:较快
    • 简单的实现
      • 看readme有并行功能了
    • fmfn/BayesianOptimization, 比较复杂,支持并行调参。
举报

相关推荐

0 条评论