文章目录
- 部分配置推荐
- 分布式代码模板
- 实际运行效果
- 多卡训练的模型，单卡环境评估或使用
代码参考：
- pytorch单机多卡并行训练
- Distribution is all you need
讲解参考：
- Pytorch多机多卡分布式训练
报错解决参考：
- pytorch使用过程中的报错收集（持续更新…）
部分配置推荐
-
Dataloader：
-
number_worker：CPU核数的一半（8核CPU的number_worker为4） -
pin_mode：内存大的情况下可以开启
分布式代码模板
- Github链接
实际运行效果
训练拉满，基本能达到单卡的三倍：
多卡训练的模型，单卡环境评估或使用
- 解决pytorch多GPU训练保存的模型,在单GPU环境下加载出错问题
- 单卡环境读取多卡训练的模型
