1.下载spark-3.2.1-bin-hadoop2.7.tgz
2.准备3台服务器,在三台服务器的hosts文件里配置主机名和ip的对应关系,例如:
192.168.100.41 node1
192.168.100.171 node2
192.168.100.232 node3
3.安装jdk并配置环境变量,假设jdk安装路径为/usr/local/jdk
4.关闭防火墙
5.上传spark包到三个服务器的相同文件夹下,解压
6.将conf文件夹下的spark-env.sh.template和workers.template分别命名为spark-env.sh和workers
7.node1作为master,修改node1的spark-env.sh,在文件的最下面添加
export JAVA_HOME=/usr/local/jdk
export SPARK_MASTER_HOST=node1
export SPARK_MASTER_PORT=7077
修改node2和node3的spark-env.sh,在文件的最下面添加
export JAVA_HOME=/usr/local/jdk
export SPARK_MASTER_HOST=node1
export SPARK_MASTER_PORT=7077
export SPARK_LOCAL_IP=127.0.0.1
8.修改三台服务器的workers,在文件最下面添加
node2
node3
9.配置node1到node2和node3的ssh免密登陆
10.在node1上进入到spark的sbin目录下,执行./start-all.sh