pyspark基础教程
下面一段代码是简单教程,对与如何向spark 集群提交代码任务,无论文档和博客都有很多说法,其实很简单,只要在脚本中setMaster(“spark://192.168.10.182:7077”),
spark://192.168.10.182:7077是master的url,
192.168.10.182是master的ip
7077是端口号
conf=SparkConf().setAppName("lg").setMaster("spark://192.168.10.182:7077")代码只在本地运行
conf=SparkConf().setAppName("miniProject").setMaster("local[*]")全部代码
import pyspark
from pyspark import SparkContext as sc
from pyspark import SparkConf
#conf=SparkConf().setAppName("miniProject").setMaster("local[*]")
conf=SparkConf().setAppName("lg").setMaster("spark://192.168.10.182:7077")
sc=sc.getOrCreate(conf)
#（a）利用list创建一个RDD;使用sc.parallelize可以把Python list，NumPy array或者Pandas Series,Pandas DataFrame转成Spark RDD。
rdd = sc.parallelize(list(range(10**2)))
#print(rdd)
#Output:ParallelCollectionRDD[0] at parallelize at PythonRDD.scala:480
#（b）getNumPartitions()方法查看list被分成了几部分
print(rdd.getNumPartitions() )
我的代码都在anaconda 的spyder里编写,
如何对spyder 配置spark请看我的这篇博客
如何对spyder 配置spark
