PySpark的学习

单机版安装，只需要jdk和spark， 不需要hadoop。

1. 安装JDK

2. 安装spark

2.1. 下载

下载地址见 大数据组件下载地址

2.2. 解压

tar   -zxvf  spark-2.3.1-bin-hadoop2.7.tgz
mv spark-2.3.1-bin-hadoop2.7 spark-2.3.1

2.3. 配置环境变量

进入/etc/profile目录下：vim /etc/profile

#Spark
export SPARK_HOME=/opt/spark-2.3.1
export PATH=$PATH:$SPARK_HOME/bin

2.4. 修改配置文件

进入spark的conf目录下：cd /opt/spark-2.3.1/conf/，

copy一份spark-env.sh：

cp  spark-env.sh.template spark-env.sh

然后进入vim编辑模式：

vim  spark-env.sh

添加如下配置

export JAVA_HOME=/usr/local/java-1.8.0——391 #这里是你jdk的安装路径
export SPARK_HOME=/opt/spark-2.3.1
export SPARK_MASTER_IP=XXX.XX.XX.XXX  #将这里的xxx改为自己的Linux的ip地址

2.5. 修改slaves

copy一份slaves：cp slaves.template slaves

vi slaves

在最后面加上

localhost

3. 启动spark

进入spark的sbin目录：cd sbin/

启动spark ./start-all.sh