0
点赞
收藏
分享

微信扫一扫

如何在CDH集群中加入异构设备

阎小妍 2022-09-22 阅读 209

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。


1.文档编写目的



在部署CDH集群或者扩容时,会遇到服务器配置不同(CPU、Memory、DISK等)的情况,那我们应该如何加入异构设备,并进行差异化的配置呢?本篇文章主要讲述如何使用CM通过角色组对异构设备进行分组并对角色组进行参数配置。


  • 内容概述

1.添加异构设备

2.创建角色组并分配主机

3.配置角色组参数


  • 测试环境

1.CM和CDH版本为5.13.0


  • 前置条件

1.待加入的异构设备操作系统版本与集群中集群的操作系统版本一致

2.待加入的异构设备已完成CDH前置条件准备


2.添加异构设备



1.使用CM的“向集群添加新主机”功能,添加异构设备到集群

如何在CDH集群中加入异构设备_hive


2.向集群添加新主机(ip-172-31-9-33.fayson.com)

如何在CDH集群中加入异构设备_hive_02


3.分发Parcel

如何在CDH集群中加入异构设备_异构_03


4.主机检查

如何在CDH集群中加入异构设备_hive_04


5.部署客户端

如何在CDH集群中加入异构设备_异构_05


6.主机应用模板,若没有模板,可以在cm中先创建主机模板


如何在CDH集群中加入异构设备_hive_06

如何在CDH集群中加入异构设备_异构_07



7.启动主机角色

如何在CDH集群中加入异构设备_异构_08

如何在CDH集群中加入异构设备_异构_09


3.创建角色并分组设置不同的参数

3.1创建角色组并分配主机



这里的角色组是跟服务相关联的,因为我们刚添加的节点是作为数据节点,节点上运行了HDFS的DataNode和YARN的NodeManager,所以,我们可以分别在HDFS服务和YARN服务中创建角色组,这里以创建HDFS的角色组为例,其他服务的角色组创建方式相同。


1.首先我们创建HDFS的角色组,进入HDFS的配置页面,点击‘角色组’

如何在CDH集群中加入异构设备_hdfs_10


2.点击角色组,进入角色管理界面,然后点击“创建”

如何在CDH集群中加入异构设备_hdfs_11


3.创建一个新的角色组

如何在CDH集群中加入异构设备_hive_12


这里可以看到我们刚创建的角色组

如何在CDH集群中加入异构设备_hive_13


将刚刚新加入的主机移至新创建的角色组

如何在CDH集群中加入异构设备_hive_14

如何在CDH集群中加入异构设备_异构_15


已将新加入节点添加至datanode-low角色组

如何在CDH集群中加入异构设备_hive_16

完后后,回到HDFS配置首页,需要对新的角色组设置数据目录,这个可以和default组保持一致,然后保存更改


4.配置datanode-low角色组的数据目录

如何在CDH集群中加入异构设备_hive_17


3.2角色组参数设置



我们假设对不同的角色组的资源分配做不同的设置,比如我们设置dfs.datanode.du.reserved参数,datanode-low分组设置为8G,然后保存,重启HDFS即可。‘编辑单个值’的意思是,如果多个角色组中设置的值相同,则CM会合并显示,点击‘编辑单个值’则可以展开每个角色组进行单独编辑对应的内容。


如何在CDH集群中加入异构设备_hdfs_18


点击“编辑单个值”,设置datanode-low配置为8G

如何在CDH集群中加入异构设备_异构_19


3.3数据均衡操作



如果有数据节点加入集群,需要对HDFS进行重新平衡操作,首先需要在HDFS组件中有Balancer角色实例,如果没有,则必须添加添加一个Balancer角色实例


1.进入HDFS服务,点击“重新平衡”

如何在CDH集群中加入异构设备_hdfs_20


2.点击“重新平衡”

如何在CDH集群中加入异构设备_异构_21


3.执行完成

如何在CDH集群中加入异构设备_异构_22



为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。





推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

如何在CDH集群中加入异构设备_hdfs_23

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操


举报

相关推荐

0 条评论