0
点赞
收藏
分享

微信扫一扫

RISC-V特权架构 - 中断定义

Spinach菠菜 9小时前 阅读 1

1、为什么项目越来越大

主要是因为我们在不断训练过程中,会保存模型文件,如果存在存储问题,建议将保存模型文件的间隔设置大一点

另外为什么我们保存的模型文件那大呢:

因为保存的模型文件不仅仅会保存model的信息,还会将实验相关信息都保存上

 2、warm-up的作用

搭建应该经常在各类算法的配置文件中看见warm-up这个配置,那么warm-up到底起到了什么作用呢

比如你的学习率初始设置为0.001,warm-up就是不在初始的时候就将你的学习率设置为0.001,而将你的学习率从0上升到0.001

 

特别是模型使用了一些依赖动量的算法或者优化器,由于刚开始动量不稳定,容易出现不稳定的情况

有些模型不使用warm-up,很有可能前几回合就起飞了,无法正常收敛

总的来说,就是解决训练不稳定的问题

3、模型验证时候的batch_size设置

如果我们的验证集中图片尺寸不一致,比如将batch_size设置为2,此时就可能需要将两张尺寸不一致的图片组成一个batch拿去验证,这个时候需要对图片进行padding,Padding就可能会对预测结果产生影响

但是如果你的所有图片尺寸都是一致的,就没有必要将batch_size设置为1,因为这样没法充分利用大显存,造成资源的浪费和速度下降

总结

 

举报

相关推荐

0 条评论