0
点赞
收藏
分享

微信扫一扫

CDH集群配置机架感知策略

霸姨 2022-03-30 阅读 69


机架感知是一种计算不同计算节点(TT)的距离的技术,用以在任务调度过程中尽量减少网络带宽资源的消耗,这里用尽量,想表达的是当一个TT申请不到本地化任务时,yarn会尽量调度一个机架的任务给他,因为不同机架的网络带宽资源比同一个机架的网络带宽资源更可贵。当然,机架感知不仅仅用在MR中,同样还用在HDFS数据块备份过程中(第一个replica选择本节点【如果上传是DataNode】或者随机的一个DN(系统会尽量避免存储太满和太忙的节点),第二个节点选择于第一个节点不同机架的DN,第三个选择放在第二个DN同一个机架的另一个DN上)

CDH机架感知配置

未配置机架信息前执行命令:

​hdfs dfsadmin -printTopology​

CDH集群配置机架感知策略_大数据


所有服务器都在/default机架下


配置机架信息:


登录cloudera manger 选择主机 --所有主机



CDH集群配置机架感知策略_hadoop_02


选择主机



CDH集群配置机架感知策略_数据库_03


分配机架



CDH集群配置机架感知策略_数据库_04



CDH集群配置机架感知策略_hadoop_05


根据向导刷新重启服务即可


hdfs配置中有配置机架感知脚本的配置,不配默认使用主机中配置的机架信息



CDH集群配置机架感知策略_linux_06


配置机架信息后



CDH集群配置机架感知策略_数据库_07


举报

相关推荐

0 条评论