0
点赞
收藏
分享

微信扫一扫

HDFS HA搭建(高可用)

覃榜言 2022-04-14 阅读 75
hdfs

         ZK    NN    DN    RM    NM    JN    ZKFC
master    1    1        1        1    1
node1    1    1    1    1    1    1    1
node2    1        1        1    1

注意: 操作前需要保存一下之前的快照

jdk  hosts
1、防火墙
    service iptables stop
2、时间同步
    yum install ntp
    ntpdate -u s2c.time.edu.cn
    
    或者
    date -s 20180503

3、免密钥   (远程执行命令)
    在两个主节点生成密钥文件
    ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
    ssh-copy-id ip

    master-->master,node1,node2
    node1-->master,node1,node2

注意:
    需要保证hdfs相关的组件被关闭 在master节点执行  stop-dfs.sh 

4、修改hadoop配置文件
    core-site.xml
    hdfs-site.xml


    同步到其它节点
    cd /usr/local/soft/hadoop-2.7.6/etc/hadoop

    [root@master hadoop]# scp hdfs-site.xml  root@node1:`pwd`
    hdfs-site.xml                                    100% 1359     1.9MB/s   00:00
    [root@master hadoop]# scp hdfs-site.xml  root@node2:`pwd`
    hdfs-site.xml                                    100% 1359     2.6MB/s   00:00
    [root@master hadoop]# scp core-site.xml root@node1:`pwd`
    core-site.xml                                    100% 1165   851.6KB/s   00:00
    [root@master hadoop]# scp core-site.xml root@node2:`pwd`
    core-site.xml                                    100% 1165   807.9KB/s   00:00

         

5、删除hadoop数据存储目录下的文件  每个节点都需要删除
     rm -rf /usr/local/soft/hadoop-2.7.6/tmp

6、启动zookeeper  三台都需要启动
    zkServer.sh start
    zkServer.sh status

7、启动JN   存储hdfs元数据
     三台JN上执行 启动命令: 
     hadoop-daemon.sh start journalnode

 8、格式化 在一台NN上执行(在master上执行)
      hdfs namenode -format
      启动当前的NN
      hadoop-daemon.sh start namenode


9、执行同步 没有格式化的NN上执行  在另外一个namenode上面执行(在node1上执行)
    hdfs namenode -bootstrapStandby


10、格式化ZK   在已经启动的namenode上面执行(在master上执行)
    !!一定要先 把zk集群正常 启动起来
      hdfs zkfc -formatZK

11、启动hdfs集群,在启动了namenode的节点上执行
    start-dfs.sh
    stop-dfs.sh


yarn  高可用
1、修改配置文件
    yarn-site.xml
    mapred-site.xml
    
    同步到所有节点

2、启动yarn   在master启动
    start-yarn.sh

3、在另外一台主节点上启动RM(在node1上执行)
    yarn-daemon.sh start resourcemanager
    执行完以上命令,使用jps命令查看进程,可以看到三个节点共16个进程
    此时,可以在master上进入zookeeper查看一下:
    zkCli.sh
    ls /


    master:8088
    node1:8088


关闭:直接关闭所有的集群
stop-dfs.sh
zkServer.sh stop
stop-yarn.sh

举报

相关推荐

0 条评论