0
点赞
收藏
分享

微信扫一扫

论第一次运行spark代码遇到的问题

unadlib 2022-02-15 阅读 56


前提你已经安装好了scala插件了

我是创建Scala工程 没试过maven工程


问题一:创建scala工程一直卡在build

原因:创建Scala工程的时候应该选择IDEA,而不是obt:

论第一次运行spark代码遇到的问题_spark

论第一次运行spark代码遇到的问题_spark_02




尝试复制运行以下代码:

import org.apache.spark.{SparkConf, SparkContext}
object Main {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName("MaxAndMin").setMaster("local")
val sc = new SparkContext(conf)
sc.setLogLevel("ERROR")
val lines = sc.textFile("D:\\SprkFile\\input.txt", 2)
val result = lines.filter(_.trim().length>0).map(line => ("key",line.trim.toInt)).groupByKey().map(x => {
var min = Integer.MAX_VALUE
var max = Integer.MIN_VALUE
for(num <- x._2){
if(num>max){
max = num
}
if(num<min){
min = num
}
}
(max,min)
}).collect.foreach(x => {
println("max\t"+x._1)
println("min\t"+x._2)
})
}
}



问题2:spark.conf 报错

原因:1、没有引入包(我代码中已经引入包了) 2、没有下载spark相关包

解决参考自:​​博客​​

如何下载包?

我是下载的这个:spark-2.4.5-bin-hadoop2.7.tgz

​​spark官网​​

选择第二个:

论第一次运行spark代码遇到的问题_官网_03

论第一次运行spark代码遇到的问题_官网_04

论第一次运行spark代码遇到的问题_官网_05




自此,问题全部解决:运行结果:(对了,记得在代码中相关路径下创建文件)

论第一次运行spark代码遇到的问题_scala_06





举报

相关推荐

0 条评论