0
点赞
收藏
分享

微信扫一扫

DataFrameNaFunctions无fill方法

90哦吼 2022-08-10 阅读 83

当我使用 ​​spark2.1​​​ ,为了填补 ​​dataframe​​​ 里面的 ​​null​​​ 值转换为 ​​0​​ ,代码如下所示:

dataframe.na.fill(0)

出现如下错误 ​​Spark version 2.1.0 returns following error​​ :

java.lang.NoSuchMethodError: org.apache.spark.sql.DataFrameNaFunctions.fill(JLscala/collection/Seq;)Lorg/apache/spark/sql/Dataset

原来在 ​​spark2.1​​​ 版本暂时不支持 ​​na.fill​​ 写法,因此查询众多方式得到解决:

import org.apache.spark.sql.functions.when
val dataDF = dataframe.withColumn("col", when(dataframe("col").isNull,0).otherwise(dataframe("col")))

举报

相关推荐

0 条评论