Spark(单机版)安装

环境

hadoop-2.7.2

spark-2.1.1-bin-hadoop2.7

链接：https://pan.baidu.com/s/13gHKbWYPRVoq7OjVaURPRQ 
提取码：p3z3 
复制这段内容后打开百度网盘手机App，操作更方便哦

hadoop安装（单机版）

注意：

注意代码执行的时候是在哪个路径下

注意贴代码的时候有没有需要修改的地方

注意端开放端口

注意搭建环境之前快照一下

确保hadoop安装环境OK

Spark(单机版)安装

1）解压 spark-2.1.1-bin-hadoop2.7tar.gz

2）将spark-env.sh.template 复制并并且重命名为 spark-env.sh

 cp spark-env.sh.template spark-env.sh

3)修改spark-env.sh

其中SPARK_MASTER_HOST的值为

4)启动Spark

 ./sbin/start-all.sh

             ------关闭Spark

 ./sbin/stop-all.sh

5)在浏览器输入​​http://ip:8080/​​

配置 Job History Server

1)将 spark-2.1.1-bin-hadoop2.7/conf下spark-defaults.conf.template 复制并且重命名为spark-defaults.conf

cp spark-defaults.conf.template spark-defaults.conf

2)修改spark-defaults.conf

修改前

修改后

3)修改spark-env.sh

添加下面配置

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=4000 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://iZm5ea99qngm2v98asii1aZ:9000/directory"

4)启动HDFS

​​http://47.105.132.96:50070/explorer.html#/​​

5)创建 directory

hadoop fs -mkdir /directory

6)启动Spark

 ./sbin/start-all.sh

​​http://47.105.132.96:8080/​​

7)启动 Job History Server

./sbin/start-history-server.sh

​​http://47.105.132.96:4000/​​

修改日志文件

目的:使日志文件精简输出

 cp log4j.properties.template log4j.properties

修改log4j.properties 配置文件

牛刀小试

 ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://iZm5ea99qngm2v98asii1aZ:7077 /opt/module/spark-2.1.1-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.1.1.jar  100