0
点赞
收藏
分享

微信扫一扫

【Hadoop 3】集群管理:集群中结点的添加、删除(图文总结)


文章目录

  • ​​一、环境说明​​
  • ​​二、集群节点的添加​​
  • ​​三、集群结点的删除​​

一、环境说明

Hadoop-3.1.3 完全分布式:详细图文配置(可参考之前文章 ​​【Hadoop 3】图文详解:搭建Hadoop完全分布式运行模式​​)

集群各结点的进程安排情况如下,现在欲添加的新结点主机名为 hadoop105。

hadoop102

hadoop103

hadoop104

HDFS

NameNode

DataNode

DataNode

SecondaryNameNode

DataNode

YARN

NodeManager

ResourceManager

NodeManager

NodeManager

二、集群节点的添加

1、拷贝虚拟机:现有客户机 hadoop102、hadoop103、hadoop104,欲添加一结点,使其名为 hadoop105(拷贝自 hadoop104);

【Hadoop 3】集群管理:集群中结点的添加、删除(图文总结)_big data

(说明:之前已考虑到了扩充性问题,因此已预先在所有客户机中添加了IP与主机名的映射)

【Hadoop 3】集群管理:集群中结点的添加、删除(图文总结)_大数据_02


【Hadoop 3】集群管理:集群中结点的添加、删除(图文总结)_主机名_03

2、删除原有hadoop104中的文件:当前,hadoop105事先要先清空掉 ~/.ssh 目录下的文件,因为它自己拷贝自hadoop104,还存着hadoop104的免密及公私钥配置,所以要删掉;另外,还要删除hadoop目录下的data和logs目录,并重新格式化namenode,因为里面也是存着拷贝源hadoop104的文件。

3、修改主机名与IP

【Hadoop 3】集群管理:集群中结点的添加、删除(图文总结)_结点_04


【Hadoop 3】集群管理:集群中结点的添加、删除(图文总结)_hadoop_05


【Hadoop 3】集群管理:集群中结点的添加、删除(图文总结)_big data_06


【Hadoop 3】集群管理:集群中结点的添加、删除(图文总结)_hadoop_07

4、重启:reboot

5、配置SSH

(1) 在hadoop102中:将自己的公钥给hadoop105,另外,hadoop103、hadoo104也是同理;

【Hadoop 3】集群管理:集群中结点的添加、删除(图文总结)_主机名_08

(2) 在hadoop105中生成自己的公私钥,并将自己的公钥发给集群中的其他客户机

【Hadoop 3】集群管理:集群中结点的添加、删除(图文总结)_主机名_09


【Hadoop 3】集群管理:集群中结点的添加、删除(图文总结)_结点_10

6、在workers目录中添加新的hadoop105结点的主机名

【Hadoop 3】集群管理:集群中结点的添加、删除(图文总结)_结点_11


【Hadoop 3】集群管理:集群中结点的添加、删除(图文总结)_大数据_12

7、启动hadoop105的DataNode进程和NodeManager进程

【Hadoop 3】集群管理:集群中结点的添加、删除(图文总结)_big data_13

8、在主节点进行刷新

【Hadoop 3】集群管理:集群中结点的添加、删除(图文总结)_big data_14

9、查看节点状态

【Hadoop 3】集群管理:集群中结点的添加、删除(图文总结)_结点_15

三、集群结点的删除

1、自定义一个结点列表文件:来到hadoop/etc/hadoop目录下

【Hadoop 3】集群管理:集群中结点的添加、删除(图文总结)_结点_16

【Hadoop 3】集群管理:集群中结点的添加、删除(图文总结)_hadoop_17

2、配置hadoop/etc/hdfs-site.xml:指定刚才创建的文件

【Hadoop 3】集群管理:集群中结点的添加、删除(图文总结)_结点_18

3、再次重启hadoop105的datanode、nodemanager进程,与hadoop集群查看当前集群中的hadoop105的状态是 Decommissioned,已成功使其退役。

【Hadoop 3】集群管理:集群中结点的添加、删除(图文总结)_结点_19


举报

相关推荐

0 条评论