0
点赞
收藏
分享

微信扫一扫

搭建Spark Standalone模式的集群(学生版）

禾木瞎写 2022-03-14 阅读 57
linux运维服务器

进入实例ty_win7

利用SecureCRT登录三台虚拟机

  • 打开连接对话框

1、登录master虚拟机

  • 单击连接对话框里的master，登录master虚拟机

在master虚拟机上安装vim编辑器

执行命令：vi /etc/resolv.conf，修改/etc/resolv.conf

 添加两个域名服务器

 存盘退出

 执行命令：yum -y install vim

 

 现在我们通过/etc/resolv.conf文件添加了域名解析服务器，因此可以ping通域名了

 登录slave1虚拟机

  • 单击连接对话框里的slave1，登录slave1虚拟机

 执行命令：vi /etc/resolv.conf，添加域名解析服务器

 存盘退出后，执行命令：yum - install vim，安装vim编辑器

3、登录slave2虚拟机

  • 单击连接对话框里的slave2，登录slave2虚拟机

 仿照slave1虚拟机上的做法，修改选项，效果如下所示

 查看三台虚拟机主机名

  • 查看master虚拟机主机名

配置三台虚拟机IP-主机名映射

、配置master虚拟机IP-主机名映射

  • 执行命令：vim /etc/hosts

 存盘后退出

配置slave1虚拟机IP-主机名映射

  • 执行命令：vim /etc/hosts

配置slave2虚拟机IP-主机名映射

  • 执行命令：vim /etc/hosts

同上理

 关闭与禁用master虚拟机的防火墙

关闭与禁用slave1虚拟机的防火墙

 关闭与禁用slave2虚拟机的防火墙

在master虚拟机上关闭SeLinux安全机制

  • 执行命令：vim /etc/sysconfig/selinux

在slave1虚拟机上关闭SeLinux安全机制

  • 执行命令：vim /etc/sysconfig/selinux

在slave2虚拟机上关闭SeLinux安全机制

  • 执行命令：vim /etc/sysconfig/selinux

设置三台虚拟机相互免密登录

1、master虚拟机免密登录master、slave1与slave2

  • 执行命令：ssh-keygen，生成密钥对

执行命令：ssh-copy-id root@master，将公钥拷贝到master 

 

执行命令：ssh-copy-id root@slave1，将公钥拷贝到slave1

执行命令：ssh-copy-id root@slave2，将公钥拷贝到slave2

 验证master是否可以免密登录master、slave1与slave2

slave1虚拟机免密登录master、slave1与slave2

  • 执行命令：ssh-keygen，生成密钥对

 执行命令：ssh-copy-id root@master，将公钥拷贝到master

 

执行命令：ssh-copy-id root@slave1，将公钥拷贝到slave1

 执行命令：ssh-copy-id root@slave2，将公钥拷贝到slave2

 

 

在三台虚拟机上安装lrzsr

1、在master虚拟机上安装lrzsz

  • 执行命令：yum -y install lrzsz

 

在slave1虚拟机上安装lrzsz

  • 执行命令：yum -y install lrzsz

 

在slave2虚拟机上安装lrzsz

  • 执行命令：yum -y install lrzsz

 

在三台虚拟机上安装配置JDK

1、在master虚拟机上安装配置JDK

  • 上传Java安装包到/opt目录

  •  执行tar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/local，将Java安装包解压到/usr/loca

  •  执行命令：vim /etc/profile，配置环境变量

  •  JAVA_HOME=/usr/local/jdk1.8.0_231
    CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    PATH=$JAVA_HOME/bin:$PATH
    export JAVA_HOME PATH CLASSPATH

存盘退出，执行命令：source /etc/profile，让配置生效

查看JDK版本

 

将master虚拟机上安装的JDK以及环境配置文件分发到slave1虚拟机

  • 执行命令：scp -r $JAVA_HOME root@slave1:$JAVA_HOME (-r recursive - 递归

 在slave1虚拟机上查看Java是否拷贝成功

 在slave1虚拟机上，查看从master虚拟机拷贝过来的配置文件profile

在这里插入图片描述

 存盘退出，执行命令：source /etc/profile，让配置生效

执行命令：java -version，查看JDK版本

 

将master虚拟机上安装的JDK以及环境配置文件分发到slave2虚拟机

  • 执行命令：scp -r $JAVA_HOME root@slave2:$JAVA_HOME
  • 在这里插入图片描述

 在slave2虚拟机上查看Java是否拷贝成功

 在master虚拟机上，执行命令：scp /etc/profile root@slave2:/etc/profile

 在slave2虚拟机上，查看从master虚拟机拷贝过来的配置文件profile

 存盘退出，执行命令：source /etc/profile，让配置生效

执行命令：java -

配置完全分布式Hadoop

（一）在master虚拟机上安装配置hadoop

1、上传hadoop安装包到/opt目录

  • 利用rz命令上传hadoop-2.7.1.tar.gzversion，查看JDK版本
  • 在这里插入图片描述

 

将hadoop安装包解压到指定位置

  • 执行命令：tar -zxvf hadoop-2.7.1.tar.gz -C /usr/local

 查看解压之后的hadoop目录（bin: 可执行文件；etc/hadoop: 配置目录；sbin: 启动关闭系统的命令）

 

配置hadoop环境变量

  • 执行命令：vim /etc/profile

 JAVA_HOME=/usr/local/jdk1.8.0_231
HADOOP_HOME=/usr/local/hadoop-2.7.1
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export JAVA_HOME HADOOP_HOME PATH CLASSPATH
存盘退出，执行命令：source /etc/profile，让配置生效

编辑hadoop环境配置文件 - hadoop-env.sh

  • env: environment —— 环境
  • 执行命令：cd $HADOOP_HOME/etc/hadoop，进入hadoop配置目录
  • 在这里插入图片描述

 执行命令：vim hadoop-env.sh

JAVA_HOME=/usr/local/jdk1.8.0_231
HADOOP_HOME=/usr/local/hadoop-2.7.1
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export JAVA_HOME HADOOP_HOME PATH CLASSPATH

存盘退出，执行命令：source /etc/profile，让配置生效

编辑hadoop环境配置文件 - hadoop-env.sh

  • env: environment —— 环境
  • 执行命令：cd $HADOOP_HOME/etc/hadoop，进入hadoop配置目录
  • 在这里插入图片描述
  • 执行命令：vim hadoop-env.sh

 

 

export JAVA_HOME=/usr/local/jdk1.8.0_231 
export  HADOOP_HOME=/usr/local/hadoop-2.7.1
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

存盘退出后，执行命令source hadoop-env.sh，让配置生效

查看三个配置的三个环境变量

在这里插入图片描述

 

编辑核心配置文件 - core-site.xml

  • 执行命令：vim core-site.xml
  • 在这里插入图片描述

 

 <configuration>
    <!--用来指定hdfs的老大-->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <!--用来指定hadoop运行时产生文件的存放目录-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop-2.7.1/tmp</value>
    </property>    
</configuration>
存盘退出

由于配置了IP地址主机名映射，因此可用hdfs://master:9000，否则必须用IP地址hdfs://192.168.1.103:9000

在这里插入图片描述

 

编辑HDFS配置文件 - hdfs-site.xml

  • 执行命令：vim hdfs-site.xml
  • 在这里插入图片描述

 

<configuration>
    <property>
        <!--设置名称节点的目录-->
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop-2.7.1/tmp/namenode</value>
    </property>
    <property>
        <!--设置数据节点的目录-->
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop-2.7.1/tmp/disk1, /usr/local/hadoo
p-2.7.1/tmp/disk2</value>
    </property>
</configuration>

  • 存盘退出

编辑MapReduce配置文件 - mapred-site.xml

  • 基于模板生成配置文件，执行命令：cp mapred-site.xml.template mapred-site.xml
    在这里插入图片描述

     执行命令：vim mapred-site.xml
    在这里插入图片描述

     <configuration>
        <property>
            <!--配置MR资源调度框架YARN-->
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>
    存盘退出

编辑yarn配置文件 - yarn-site.xml

  • 执行命令：vim yarn-site.xml

 <configuration>
    <property>
        <!--配置资源管理器-->
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
    <property>
        <!--配置节点管理器-->
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>
存盘退出

编辑slaves文件（定名分）

  • 通过slaves文件定义从节点，有两个：slave1与slave2
  • 执行命令：vim slaves
  • 在这里插入图片描述

 

在slave1虚拟机上安装配置hadoop

1、将master虚拟机上的hadoop分发到slave1虚拟机

  • 执行命令：scp -r $HADOOP_HOME root@slave1:$HADOOP_HOME
  • 在这里插入图片描述

 

将master虚拟机上环境配置文件分发到slave1虚拟机

  • 执行命令：scp /etc/profile root@slave1:/etc/profile
  • 在这里插入图片描述

 

在slave1虚拟机上让环境配置生效

  • 切换到slave1虚拟机，执行命令：source /etc/profile
    在这里插入图片描述

 

在slave2虚拟机上安装配置hadoop

1、将master虚拟机上的hadoop分发到slave2虚拟机

  • 执行命令：scp -r $HADOOP_HOME root@slave2:$HADOOP_HOME
    在这里插入图片描述

 

将master虚拟机上环境配置文件分发到slave2虚拟机

  • 执行命令：scp /etc/profile root@slave2:/etc/profile
    在这里插入图片描述

 

、在slave2虚拟机上让环境配置生效

  • 切换到slave2虚拟机，执行命令：source /etc/profile
    在这里插入图片描述

 

启动与关闭Hadoop集群

1、在master虚拟机上启动hadoop服务

  • 执行命令：start-dfs.sh，启动hdfs服务

  • 在这里插入图片描述

     在这里插入图片描述

     在这里插入图片描述

     <property> <!--设置辅助名称节点--> <name>dfs.namenode.secondary.http-address</name> <value>master:50090</value> </property>

再次启动hdfs服务

在这里插入图片描述

 关闭之后，再执行命令：start-dfs.sh

 此时查看三个虚拟机的进程

在这里插入图片描述

 在这里插入图片描述

 在这里插入图片描述

 执行命令：start-yarn.sh，启动YARN服务

在这里插入图片描述

 执行命令jps查看master虚拟机的进程，只有NameNode、SecondaryNameNode和ResourceManager

在这里插入图片描述

 查看slave1和slave2上的进程，只有NodeManager和DataNode

在这里插入图片描述

 在这里插入图片描述

 

、查看hadoop集群的WebUI界面

  • 在ty_win7虚拟机浏览器访问http://master:50070
  • 在这里插入图片描述

 不能通过主机名master加端口50070的方式，原因在于没有在hosts文件里IP与主机名的映射，现在可以访问http://192.168.1.103:50070

在这里插入图片描述

 修改ty_win7虚拟机上的C:\Windows\System32\drivers\etc\hosts文件

在这里插入图片描述

 重启hadoop集群，访问http://master:500704

在这里插入图片描述

 查看数据节点信息

在这里插入图片描述

 点开【Utilities】下拉菜单，选择【Browse the file system】

在这里插入图片描述

 在这里插入图片描述

 在HDFS在这里插入图片描述上创建一个目录BigData，执行命令：hadoop fs -mkdir /BigData

 在WebUI界面查看刚才创建的目录

在这里插入图片描述

 停止hadoop服务

在master虚拟机上执行命令：stop-all.sh（相当于同时执行了stop-dfs.sh与stop-yarn.sh）

在这里插入图片描述

 

配置Spark Standalone模式的集群

（一）在master主节点上安装配置Spark

1、上传spark安装包到master虚拟机

  • 利用rz将hw_win7虚拟机上的spark安装包上传到master虚拟机/opt目录
    在这里插入图片描述

 

将spark安装包解压到master虚拟机指定目录

  • 执行命令：tar -zxvf spark-2.4.4-bin-hadoop2.7.tgz -C /usr/local
    在这里插入图片描述

 

、配置spark环境变量

  • 执行命令：vim /etc/profile
    在这里插入图片描述

 JAVA_HOME=/usr/local/jdk1.8.0_231
HADOOP_HOME=/usr/local/hadoop-2.7.1
SPARK_HOME=/usr/local/spark-2.4.4-bin-hadoop2.7
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
export JAVA_HOME HADOOP_HOME SPARK_HOME PATH CLASSPATH

存盘退出后，执行命令：source /etc/profile，让配置生效
在这里插入图片描述

 查看spark安装目录（bin、sbin和conf三个目录很重要）

在这里插入图片描述

 

编辑spark环境配置文件 - spark-env.sh

  • 进入spark配置目录后，执行命令：cp spark-env.sh.template spark-env.sh与vim spark-env.sh
  • 在这里插入图片描述

 在这里插入图片描述

 export JAVA_HOME=/usr/local/jdk1.8.0_231
export SPARK_MASTER_HOST=master
export SPARK_MASTER_PORT=7077

在这里插入图片描述

 

创建slaves文件，添加从节点

  • 执行命令：vim slaves
  • 在这里插入图片描述

 添加两个从节点的主机名

在这里插入图片描述

 

  • 存盘退出

  • 在slave1从节点上安装配置Spark

    1、把master虚拟机上的spark安装目录分发给slave1虚拟机

  • 执行命令：scp -r $SPARK_HOME root@slave1:$SPARK_HOME
  • 在这里插入图片描述

 

将master虚拟机上环境变量配置文件分发到slave1虚拟机

  • 在master虚拟机上，执行命令：scp /etc/profile root@slave1:/etc/profile
    在这里插入图片描述

 在slave1虚拟机上，执行命令：source /etc/profile
在这里插入图片描述

 

在slave1虚拟机上让spark环境配置文件生效

  • 执行命令：source spark-env.sh
    在这里插入图片描述

 

在slave2从节点上安装配置Spark

1、把master虚拟机上的spark安装目录分发给slave2虚拟机

  • 执行命令：scp -r $SPARK_HOME root@slave2:$SPARK_HOME
    在这里插入图片描述

 

将master虚拟机上环境变量配置文件分发到slave2虚拟机

  • 在master虚拟机上，执行命令：scp /etc/profile root@slave2:/etc/profile
    在这里插入图片描述
  • 在slave2虚拟机上，执行命令：source /etc/profile

 在这里插入图片描述

 

、在slave2虚拟机上让spark环境配置文件生效

  • 执行命令：source spark-env.sh
    在这里插入图片描述

 

启动hadoop的dfs服务

  • 在master虚拟机上执行命令：start-dfs.sh
    在这里插入图片描述

 

启动Spark集群

  • 在master虚拟机上进入spark安装目录下的sbin子目录，执行命令：./start-all.sh
    在这里插入图片描述

 

  • 查看master节点进程
    在这里插入图片描述

  • 查看slave1节点进程
    在这里插入图片描述

  • 查看slave2节点进程
    在这里插入图片描述

在ty_win7虚拟机上，访问http://master:8080
在这里插入图片描述

 在这里插入图片描述

 在这里插入图片描述

 

启动Scala版Spark Shell

  • 执行命令：spark-shell --master spark://master:7077
    在这里插入图片描述

 在/opt目录里执行命令：vim test.txt
在这里插入图片描述

 

在HDFS上创建park目录，将test.txt上传到HDFS的/park目录
在这里插入图片描述

 

  • 在其它虚拟机上也可以查看到该文件
    在这里插入图片描述
  • 读取HDFS上的文件，创建RDD
  • 在这里插入图片描述

 查看第一行内容
在这里插入图片描述

 

案例演示 - 提交Spark自带的求圆周率的程序

  • 启动Spark Standalone模式的集群
    在这里插入图片描述

     

  • 将Spark自带的求圆周率的程序提交到集群，进入Spark安装目录，执行命令

 bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://master:7077 \
./examples/jars/spark-examples_2.11-2.4.4.jar

在Standalone模式下，将Spark自带的求圆周率的程序提交到集群，并且设置Driver进程使用内存为512MB，每个Executor进程使用内存为1GB，每个Executor进程所使用的CPU核心数为2，提交方式为cluster（Driver进程运行在集群的工作节点中），执行命令如下
binspark-submit \
--master spark://master:7077 \
--deploy-mode cluster \
--class org.apache.spark.examples.SparkPi \
--driver-memory 512m \
--executor-memory 1g \
--executor-cores 2 \
./examples/jars/spark-examples_2.11-2.4.4.jar

关闭Spark服务

  • 在master节点执行命令：stop-master.sh与stop-slaves.sh
    在这里插入图片描述

 

 

举报

相关推荐

Spark环境搭建——standalone集群模式

sparkhadoop云计算/大数据scalahdfs

spark的standalone模式搭建

sparkSPARKbashSpark大数据

Spark Standalone 集群配置

spark大数据分布式

(超详细) Spark环境搭建（Local模式、 StandAlone模式、Spark On Yarn模式）

hadoopspark大数据

Spark Standalone模式下启动集群的基本流程

对象创建主机名对象引用Spark大数据

Spark Standalone集群环境

sparkhadoophdfs

Spark03：Spark安装部署【集群】：Standalone模式以及ON YARN模式

spark

Spark运行模式Standalone 模式

sparkhadoopjar虚拟化云计算

Spark standalone运行模式

sparkapachezookeeper虚拟化云计算

部署spark2.2集群(standalone模式)

sparkjavascalaDocker云计算yyds干货盘点
0 条评论