YARN的高可用性HA配置实战

教程目录

• 0x00 教程内容
• 0x01 配置YARN

• 1. 备份yarn-site.xml
• 2. 配置HA
• 3. 同步到从节点

• 0x02 校验结果

• 1. 启动YARN
• 2. 校验配置
• 3. 查看ZK变化

• 0x03 恢复回非HA模式
• 0xFF 总结

0x00 教程内容

1. 配置YARN
2. 校验结果
3. 恢复回非HA模式

PS：与HDFS的HA类似，但比HDFS的要简单很多。教程入口：HDFS的高可用性HA配置实战）

0x01 配置YARN

1. 备份yarn-site.xml

a. 为了方便之后学习恢复回非HA模式

cp yarn-site.xml yarn-site.xml_bak

2. 配置HA

a. 完整的yarn-site.xml配置文件（可先停止YARN）

vi yarn-site.xml

<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
</property>
<property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>cluster1</value>
  <description>集群唯一标识</description>
</property>
<property>
  <name>yarn.resourcemanager.ha.rm-ids</name>
  <value>rm1,rm2</value>
  <description>两个RM的唯一标识</descritption>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm1</name>
  <value>master</value>
  <description>第一个RM部署在的机器名</descritption>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm2</name>
  <value>slave1</value>
  <description>第二个RM部署在的机器名</descritption>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address.rm1</name>
  <value>master:8088</value>
  <description>第一个RM的web ui的端口</descritption>
</property>
<property>  
  <name>yarn.resourcemanager.webapp.address.rm2</name>
  <value>slave1:8088</value>
  <description>第二个RM的web ui的端口</descritption>
</property>
<property>
  <name>yarn.resourcemanager.zk-address</name>
  <value>master:2181,slave1:2181,slave2:2181</value>
  <description>zk的部署的主机名和端口</descritption>
</property>

3. 同步到从节点

a. 同步配置文件到slave1、slave2

scp yarn-site.xml hadoop-sny@slave1:~/bigdata/hadoop-2.7.5/etc/hadoop/

scp yarn-site.xml hadoop-sny@slave2:~/bigdata/hadoop-2.7.5/etc/hadoop/

0x02 校验结果

1. 启动YARN

a. 在master上启动yarn，

start-yarn.sh

b. 在slave1上启动resourcemanager

~/bigdata/hadoop-2.7.5/sbin/yarn-daemon.sh start resourcemanager

2. 校验配置

a. 查看master与slave1的Resourcemanager状态（在master执行即可）

yarn rmadmin -getServiceState rm1

yarn rmadmin -getServiceState rm2

b. 杀死master的Resourcemanager进程，再查看slave1的Resourcemanager状态

3. 查看ZK变化

a. 启动ZK

zkCli.sh -server master:2181

b. 查看内容

ls /

此时会发现多了一个yarn-leader-election节点，就是YARN的HA所创建的节点

0x03 恢复回非HA模式

a. 停止YARN

stop-yarn.sh

b. 备份HA的配置文件

cp yarn-site.xml yarn-site.xml_ha

c. 恢复非HA的配置文件

cp yarn-site.xml_bak yarn-site.xml

d. 同步到slave1、slave2后，再重新启动YARN

start-yarn.sh

0xFF 总结

1. 过程比较简单，这里已经把我之前的笔记整理成了操作流程提供给大家，希望对您有所帮助，多看看官网。

全栈工程师、市场洞察者、专栏编辑

| 公众号​ | 微信​ | 微博​ | 简书 |

福利：

邵奈一的技术博客导航

邵奈一 原创不易，如转载请标明出处。