0
点赞
收藏
分享

微信扫一扫

搭建Spark Standalone模式的集群(学生版）

禾木瞎写 2022-03-14 阅读 57
linux运维服务器

进入实例ty_win7

利用SecureCRT登录三台虚拟机

  • 打开连接对话框

1、登录master虚拟机

  • 单击连接对话框里的master，登录master虚拟机

在master虚拟机上安装vim编辑器

执行命令：vi /etc/resolv.conf，修改/etc/resolv.conf

 添加两个域名服务器

 存盘退出

 执行命令：yum -y install vim

 

 现在我们通过/etc/resolv.conf文件添加了域名解析服务器，因此可以ping通域名了

 登录slave1虚拟机

  • 单击连接对话框里的slave1，登录slave1虚拟机

 执行命令：vi /etc/resolv.conf，添加域名解析服务器

 存盘退出后，执行命令：yum - install vim，安装vim编辑器

3、登录slave2虚拟机

  • 单击连接对话框里的slave2，登录slave2虚拟机

 仿照slave1虚拟机上的做法，修改选项，效果如下所示

 查看三台虚拟机主机名

  • 查看master虚拟机主机名

配置三台虚拟机IP-主机名映射

、配置master虚拟机IP-主机名映射

  • 执行命令：vim /etc/hosts

 存盘后退出

配置slave1虚拟机IP-主机名映射

  • 执行命令：vim /etc/hosts

配置slave2虚拟机IP-主机名映射

  • 执行命令：vim /etc/hosts

同上理

 关闭与禁用master虚拟机的防火墙

关闭与禁用slave1虚拟机的防火墙

 关闭与禁用slave2虚拟机的防火墙

在master虚拟机上关闭SeLinux安全机制

  • 执行命令：vim /etc/sysconfig/selinux

在slave1虚拟机上关闭SeLinux安全机制

  • 执行命令：vim /etc/sysconfig/selinux

在slave2虚拟机上关闭SeLinux安全机制

  • 执行命令：vim /etc/sysconfig/selinux

设置三台虚拟机相互免密登录

1、master虚拟机免密登录master、slave1与slave2

  • 执行命令：ssh-keygen，生成密钥对

执行命令：ssh-copy-id root@master，将公钥拷贝到master 

 

执行命令：ssh-copy-id root@slave1，将公钥拷贝到slave1

执行命令：ssh-copy-id root@slave2，将公钥拷贝到slave2

 验证master是否可以免密登录master、slave1与slave2

slave1虚拟机免密登录master、slave1与slave2

  • 执行命令：ssh-keygen，生成密钥对

 执行命令：ssh-copy-id root@master，将公钥拷贝到master

 

执行命令：ssh-copy-id root@slave1，将公钥拷贝到slave1

 执行命令：ssh-copy-id root@slave2，将公钥拷贝到slave2

 

 

在三台虚拟机上安装lrzsr

1、在master虚拟机上安装lrzsz

  • 执行命令：yum -y install lrzsz

 

在slave1虚拟机上安装lrzsz

  • 执行命令：yum -y install lrzsz

 

在slave2虚拟机上安装lrzsz

  • 执行命令：yum -y install lrzsz

 

在三台虚拟机上安装配置JDK

1、在master虚拟机上安装配置JDK

  • 上传Java安装包到/opt目录

  •  执行tar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/local，将Java安装包解压到/usr/loca

  •  执行命令：vim /etc/profile，配置环境变量

  •  JAVA_HOME=/usr/local/jdk1.8.0_231
    CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    PATH=$JAVA_HOME/bin:$PATH
    export JAVA_HOME PATH CLASSPATH

存盘退出，执行命令：source /etc/profile，让配置生效

查看JDK版本

 

将master虚拟机上安装的JDK以及环境配置文件分发到slave1虚拟机

  • 执行命令：scp -r $JAVA_HOME root@slave1:$JAVA_HOME (-r recursive - 递归

 在slave1虚拟机上查看Java是否拷贝成功

 在slave1虚拟机上，查看从master虚拟机拷贝过来的配置文件profile

在这里插入图片描述

 存盘退出，执行命令：source /etc/profile，让配置生效

执行命令：java -version，查看JDK版本

 

将master虚拟机上安装的JDK以及环境配置文件分发到slave2虚拟机

  • 执行命令：scp -r $JAVA_HOME root@slave2:$JAVA_HOME
  • 在这里插入图片描述

 在slave2虚拟机上查看Java是否拷贝成功

 在master虚拟机上，执行命令：scp /etc/profile root@slave2:/etc/profile

 在slave2虚拟机上，查看从master虚拟机拷贝过来的配置文件profile

 存盘退出，执行命令：source /etc/profile，让配置生效

执行命令：java -

配置完全分布式Hadoop

（一）在master虚拟机上安装配置hadoop

1、上传hadoop安装包到/opt目录

  • 利用rz命令上传hadoop-2.7.1.tar.gzversion，查看JDK版本
  • 在这里插入图片描述

 

将hadoop安装包解压到指定位置

  • 执行命令：tar -zxvf hadoop-2.7.1.tar.gz -C /usr/local

 查看解压之后的hadoop目录（bin: 可执行文件；etc/hadoop: 配置目录；sbin: 启动关闭系统的命令）

 

配置hadoop环境变量

  • 执行命令：vim /etc/profile

 JAVA_HOME=/usr/local/jdk1.8.0_231
HADOOP_HOME=/usr/local/hadoop-2.7.1
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export JAVA_HOME HADOOP_HOME PATH CLASSPATH
存盘退出，执行命令：source /etc/profile，让配置生效

编辑hadoop环境配置文件 - hadoop-env.sh

  • env: environment —— 环境
  • 执行命令：cd $HADOOP_HOME/etc/hadoop，进入hadoop配置目录
  • 在这里插入图片描述

 执行命令：vim hadoop-env.sh

JAVA_HOME=/usr/local/jdk1.8.0_231
HADOOP_HOME=/usr/local/hadoop-2.7.1
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export JAVA_HOME HADOOP_HOME PATH CLASSPATH

存盘退出，执行命令：source /etc/profile，让配置生效

编辑hadoop环境配置文件 - hadoop-env.sh

  • env: environment —— 环境
  • 执行命令：cd $HADOOP_HOME/etc/hadoop，进入hadoop配置目录
  • 在这里插入图片描述
  • 执行命令：vim hadoop-env.sh

 

 

export JAVA_HOME=/usr/local/jdk1.8.0_231 
export  HADOOP_HOME=/usr/local/hadoop-2.7.1
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

存盘退出后，执行命令source hadoop-env.sh，让配置生效

查看三个配置的三个环境变量

在这里插入图片描述

 

编辑核心配置文件 - core-site.xml

  • 执行命令：vim core-site.xml
  • 在这里插入图片描述

 

 <configuration>
    <!--用来指定hdfs的老大-->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <!--用来指定hadoop运行时产生文件的存放目录-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop-2.7.1/tmp</value>
    </property>    
</configuration>
存盘退出

由于配置了IP地址主机名映射，因此可用hdfs://master:9000，否则必须用IP地址hdfs://192.168.1.103:9000

在这里插入图片描述

 

编辑HDFS配置文件 - hdfs-site.xml

  • 执行命令：vim hdfs-site.xml
  • 在这里插入图片描述

 

<configuration>
    <property>
        <!--设置名称节点的目录-->
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop-2.7.1/tmp/namenode</value>
    </property>
    <property>
        <!--设置数据节点的目录-->
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop-2.7.1/tmp/disk1, /usr/local/hadoo
p-2.7.1/tmp/disk2</value>
    </property>
</configuration>

  • 存盘退出

编辑MapReduce配置文件 - mapred-site.xml

  • 基于模板生成配置文件，执行命令：cp mapred-site.xml.template mapred-site.xml
    在这里插入图片描述

     执行命令：vim mapred-site.xml
    在这里插入图片描述

     <configuration>
        <property>
            <!--配置MR资源调度框架YARN-->
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>
    存盘退出

编辑yarn配置文件 - yarn-site.xml

  • 执行命令：vim yarn-site.xml

 <configuration>
    <property>
        <!--配置资源管理器-->
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
    <property>
        <!--配置节点管理器-->
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>
存盘退出

编辑slaves文件（定名分）

  • 通过slaves文件定义从节点，有两个：slave1与slave2
  • 执行命令：vim slaves
  • 在这里插入图片描述

 

在slave1虚拟机上安装配置hadoop

1、将master虚拟机上的hadoop分发到slave1虚拟机

  • 执行命令：scp -r $HADOOP_HOME root@slave1:$HADOOP_HOME
  • 在这里插入图片描述

 

将master虚拟机上环境配置文件分发到slave1虚拟机

  • 执行命令：scp /etc/profile root@slave1:/etc/profile
  • 在这里插入图片描述

 

在slave1虚拟机上让环境配置生效

  • 切换到slave1虚拟机，执行命令：source /etc/profile
    在这里插入图片描述

 

在slave2虚拟机上安装配置hadoop

1、将master虚拟机上的hadoop分发到slave2虚拟机

  • 执行命令：scp -r $HADOOP_HOME root@slave2:$HADOOP_HOME
    在这里插入图片描述

 

将master虚拟机上环境配置文件分发到slave2虚拟机

  • 执行命令：scp /etc/profile root@slave2:/etc/profile
    在这里插入图片描述

 

、在slave2虚拟机上让环境配置生效

  • 切换到slave2虚拟机，执行命令：source /etc/profile
    在这里插入图片描述

 

启动与关闭Hadoop集群

1、在master虚拟机上启动hadoop服务

  • 执行命令：start-dfs.sh，启动hdfs服务

  • 在这里插入图片描述

     在这里插入图片描述

     在这里插入图片描述

     <property> <!--设置辅助名称节点--> <name>dfs.namenode.secondary.http-address</name> <value>master:50090</value> </property>

再次启动hdfs服务

在这里插入图片描述

 关闭之后，再执行命令：start-dfs.sh

 此时查看三个虚拟机的进程

在这里插入图片描述

 在这里插入图片描述

 在这里插入图片描述

 执行命令：start-yarn.sh，启动YARN服务

在这里插入图片描述

 执行命令jps查看master虚拟机的进程，只有NameNode、SecondaryNameNode和ResourceManager

在这里插入图片描述

 查看slave1和slave2上的进程，只有NodeManager和DataNode

在这里插入图片描述

 在这里插入图片描述

 

、查看hadoop集群的WebUI界面

  • 在ty_win7虚拟机浏览器访问http://master:50070
  • 在这里插入图片描述

 不能通过主机名master加端口50070的方式，原因在于没有在hosts文件里IP与主机名的映射，现在可以访问http://192.168.1.103:50070

在这里插入图片描述

 修改ty_win7虚拟机上的C:\Windows\System32\drivers\etc\hosts文件

在这里插入图片描述

 重启hadoop集群，访问http://master:500704

在这里插入图片描述

 查看数据节点信息

在这里插入图片描述

 点开【Utilities】下拉菜单，选择【Browse the file system】

在这里插入图片描述

 在这里插入图片描述

 在HDFS在这里插入图片描述上创建一个目录BigData，执行命令：hadoop fs -mkdir /BigData

 在WebUI界面查看刚才创建的目录

在这里插入图片描述

 停止hadoop服务

在master虚拟机上执行命令：stop-all.sh（相当于同时执行了stop-dfs.sh与stop-yarn.sh）

在这里插入图片描述

 

配置Spark Standalone模式的集群

（一）在master主节点上安装配置Spark

1、上传spark安装包到master虚拟机

  • 利用rz将hw_win7虚拟机上的spark安装包上传到master虚拟机/opt目录
    在这里插入图片描述

 

将spark安装包解压到master虚拟机指定目录

  • 执行命令：tar -zxvf spark-2.4.4-bin-hadoop2.7.tgz -C /usr/local
    在这里插入图片描述

 

、配置spark环境变量

  • 执行命令：vim /etc/profile
    在这里插入图片描述

 JAVA_HOME=/usr/local/jdk1.8.0_231
HADOOP_HOME=/usr/local/hadoop-2.7.1
SPARK_HOME=/usr/local/spark-2.4.4-bin-hadoop2.7
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
export JAVA_HOME HADOOP_HOME SPARK_HOME PATH CLASSPATH

存盘退出后，执行命令：source /etc/profile，让配置生效
在这里插入图片描述

 查看spark安装目录（bin、sbin和conf三个目录很重要）

在这里插入图片描述

 

编辑spark环境配置文件 - spark-env.sh

  • 进入spark配置目录后，执行命令：cp spark-env.sh.template spark-env.sh与vim spark-env.sh
  • 在这里插入图片描述

 在这里插入图片描述

 export JAVA_HOME=/usr/local/jdk1.8.0_231
export SPARK_MASTER_HOST=master
export SPARK_MASTER_PORT=7077

在这里插入图片描述

 

创建slaves文件，添加从节点

  • 执行命令：vim slaves
  • 在这里插入图片描述

 添加两个从节点的主机名

在这里插入图片描述

 

  • 存盘退出

  • 在slave1从节点上安装配置Spark

    1、把master虚拟机上的spark安装目录分发给slave1虚拟机

  • 执行命令：scp -r $SPARK_HOME root@slave1:$SPARK_HOME
  • 在这里插入图片描述

 

将master虚拟机上环境变量配置文件分发到slave1虚拟机

  • 在master虚拟机上，执行命令：scp /etc/profile root@slave1:/etc/profile
    在这里插入图片描述

 在slave1虚拟机上，执行命令：source /etc/profile
在这里插入图片描述

 

在slave1虚拟机上让spark环境配置文件生效

  • 执行命令：source spark-env.sh
    在这里插入图片描述

 

在slave2从节点上安装配置Spark

1、把master虚拟机上的spark安装目录分发给slave2虚拟机

  • 执行命令：scp -r $SPARK_HOME root@slave2:$SPARK_HOME
    在这里插入图片描述

 

将master虚拟机上环境变量配置文件分发到slave2虚拟机

  • 在master虚拟机上，执行命令：scp /etc/profile root@slave2:/etc/profile
    在这里插入图片描述
  • 在slave2虚拟机上，执行命令：source /etc/profile

 在这里插入图片描述

 

、在slave2虚拟机上让spark环境配置文件生效

  • 执行命令：source spark-env.sh
    在这里插入图片描述

 

启动hadoop的dfs服务

  • 在master虚拟机上执行命令：start-dfs.sh
    在这里插入图片描述

 

启动Spark集群

  • 在master虚拟机上进入spark安装目录下的sbin子目录，执行命令：./start-all.sh
    在这里插入图片描述

 

  • 查看master节点进程
    在这里插入图片描述

  • 查看slave1节点进程
    在这里插入图片描述

  • 查看slave2节点进程
    在这里插入图片描述

在ty_win7虚拟机上，访问http://master:8080
在这里插入图片描述

 在这里插入图片描述

 在这里插入图片描述

 

启动Scala版Spark Shell

  • 执行命令：spark-shell --master spark://master:7077
    在这里插入图片描述

 在/opt目录里执行命令：vim test.txt
在这里插入图片描述

 

在HDFS上创建park目录，将test.txt上传到HDFS的/park目录
在这里插入图片描述

 

  • 在其它虚拟机上也可以查看到该文件
    在这里插入图片描述
  • 读取HDFS上的文件，创建RDD
  • 在这里插入图片描述

 查看第一行内容
在这里插入图片描述

 

案例演示 - 提交Spark自带的求圆周率的程序

  • 启动Spark Standalone模式的集群
    在这里插入图片描述

     

  • 将Spark自带的求圆周率的程序提交到集群，进入Spark安装目录，执行命令

 bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://master:7077 \
./examples/jars/spark-examples_2.11-2.4.4.jar

在Standalone模式下，将Spark自带的求圆周率的程序提交到集群，并且设置Driver进程使用内存为512MB，每个Executor进程使用内存为1GB，每个Executor进程所使用的CPU核心数为2，提交方式为cluster（Driver进程运行在集群的工作节点中），执行命令如下
binspark-submit \
--master spark://master:7077 \
--deploy-mode cluster \
--class org.apache.spark.examples.SparkPi \
--driver-memory 512m \
--executor-memory 1g \
--executor-cores 2 \
./examples/jars/spark-examples_2.11-2.4.4.jar

关闭Spark服务

  • 在master节点执行命令：stop-master.sh与stop-slaves.sh
    在这里插入图片描述

 

 

举报

相关推荐

Spark环境搭建——standalone集群模式

sparkhadoop云计算/大数据scalahdfs

spark的standalone模式搭建

sparkSPARKbashSpark大数据

Spark Standalone 集群配置

spark大数据分布式

Spark Standalone模式下启动集群的基本流程

对象创建主机名对象引用Spark大数据

(超详细) Spark环境搭建（Local模式、 StandAlone模式、Spark On Yarn模式）

hadoopspark大数据

Spark Standalone集群环境

sparkhadoophdfs

Flink1.18.1 Standalone模式集群搭建

devopskubernetesgitlab

Spark03：Spark安装部署【集群】：Standalone模式以及ON YARN模式

spark

Spark运行模式Standalone 模式

sparkhadoopjar虚拟化云计算

Spark standalone运行模式

sparkapachezookeeper虚拟化云计算
0 条评论