dataDF
.rdd
.groupBy(row => row.getAs[Long]("the_key"))
.repartition(2000) // 这个
.flatMap(pair => {
0
点赞
收藏
分享
Spark，groupby之后加上repartition可以显著加快速度
相关推荐
0 条评论
dataDF
.rdd
.groupBy(row => row.getAs[Long]("the_key"))
.repartition(2000) // 这个
.flatMap(pair => {
相关推荐
