0
点赞
收藏
分享

微信扫一扫

Spark orderBy OOM / 执行时间超长


比如
order by long_columnorder by double_column 执行时间超长,或者内存溢出

原因:
排序的列里有NaN值(极大值),可能是 有除法里分母为0导致的。

另外,count()也可能因为列里有NaN值而OOM


举报

相关推荐

0 条评论