0
点赞
收藏
分享

微信扫一扫

spark 多语言编程

冬冬_79d4 2022-06-20 阅读 154

参考官方地址:https://spark.apache.org/docs/1.6.2/programming-guide.html

 

误解: 

spark多语言的支持,并不是说spark可以操作各个语言写的程序。而是各种语言可以使用spark提供的编程模型来开发spark程序,并连接spark集群来运行开发好的app

spark 多语言编程_spark

 

我在pycharm新建了一个项目

spark 多语言编程_python_02

新建一个python文件

spark 多语言编程_python_03

spark 多语言编程_加载_04

spark 多语言编程_spark_05

 

 

spark 多语言编程_spark_06

spark 多语言编程_python_07

spark 多语言编程_spark_08

spark 多语言编程_python_09

 

 spark 多语言编程_spark_10

加载失败了!!

 既然在软件加载失败了,我们就换种方法加载进去

spark 多语言编程_spark_11

可以看到在centos下安装的/spark-1.6.1-bin-hadoop2.6下有我们需要的包

spark 多语言编程_加载_12

下载好后就把Pycharm重新启动一下,不重启的话会不认你刚刚下载的包

 

运行一下出错了!!!

spark 多语言编程_spark_13

出现这个错误spark不支持python3.6,我就再安装了个python2.7的,那个pyspark包也拷过来

 

spark 多语言编程_spark_14

再次运行程序

spark 多语言编程_加载_15

报错了,可以看到少了py4j这个包

 

再次添加包

 spark 多语言编程_python_16

 

 

 spark 多语言编程_python_17

 

现在再次运行程序

spark 多语言编程_spark_18

 

配置一下spark的环境变量

spark 多语言编程_python_19

成功了(在这里说明一下,我的spark安装在windows下面,昨晚这一步一直报错,今天早上开电脑跑了一下就成功了,具体原因我自己也不清楚)

 

举报

相关推荐

0 条评论