第一名队伍为北京大学河图实习生队，下面将详细介绍该冠军团队的解决方案。 文章目录 1. 团队介绍 2. 赛题背景 2.1 趋势一：深度学习模型规模日益增长 2.2 趋势二：大模型训练代价难以负担，成本高居不下 3. 比赛任务 4. 解决方案 4.1 模型显存分析 4.2 优化1：调整计算顺序 4.3 优化2：层间融合 4.4 优化3∶层内内存复用( Memory-Reuse Intra Layer ) 5. 分布式训练方案 5.1 数据并行(Data Parallel) 5.2 层内模型并行(Tensor Model Parallel) 5.3 层间模型并行(Layer Model Parallel) 6. 总结
