0
点赞
收藏
分享

微信扫一扫

如何启用Oozie的HA

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。


Fayson的github:https://github.com/fayson/cdhproject


提示:代码块部分可以左右滑动查看噢


1.文档编写目的



Oozie是基于Hadoop的作业调度工具,工作流引擎,在实际工作中,遇到对数据进行一连串的操作的时候很实用,不需要自己写一些处理代码了,只需要定义好各个action,然后把他们串在一个工作流里面就可以自动执行了。但Oozie在实际生产过程中,也会有单点故障问题,所以我们也需要考虑部署多个Oozie Server从而实现Oozie的HA。Oozie的HA是Acive-Active的模式,通过负载均衡如HAProxy来实现。本篇文章中主要讲述如何启用Oozie Server的HA。


如何启用Oozie的HA_mysql


  • 内容概述

1.环境准备

2.启用Oozie服务HA

3.测试Oozie服务HA


  • 测试环境

1.操作系统RedHat7.3

2.CM和CDH版本为5.13.1

3.集群已启用Kerberos


2.环境准备



在集群中选择一台服务器作为OozieServer高可用节点



1.安装Mysql驱动


[root@ip-172-31-30-69 ~]# mkdir /usr/share/java
[root@ip-172-31-30-69 ~]# scp mysql-connector-java-5.1.34.jar /usr/share/java

(可左右滑动)


如何启用Oozie的HA_负载均衡_02


2.创建MySQL驱动的软链


[root@ip-172-31-30-69 ~]# cd /usr/share/java/
[root@ip-172-31-30-69 java]# ln -s mysql-connector-java-5.1.34.jar mysql-connector-java.jar

(可左右滑动)


如何启用Oozie的HA_java_03


3.安装Haproxy并配置oozie server


如何启用Oozie的HA_负载均衡_04


Haproxy的配置如下:


#---------------------------------------------------------------------
# Example configuration for a possible web application. See the
# full configuration options online.
#
# http://haproxy.1wt.eu/download/1.4/doc/configuration.txt
#
#---------------------------------------------------------------------
#---------------------------------------------------------------------
# Global settings
#---------------------------------------------------------------------
global
log 127.0.0.1 local2
chroot /var/lib/haproxy
pidfile /var/run/haproxy.pid
maxconn 4000
user haproxy
group haproxy
daemon
# turn on stats unix socket
stats socket /var/lib/haproxy/stats
#---------------------------------------------------------------------
# common defaults that all the 'listen' and 'backend' sections will
# use if not designated in their block
#---------------------------------------------------------------------
defaults
mode http
log global
option httplog
option dontlognull
#option http-server-close
#option forwardfor except 127.0.0.0/8
option redispatch
retries 3
timeout http-request 10s
timeout queue 1m
timeout connect 10s
timeout client 1m
timeout server 1m
timeout http-keep-alive 10s
timeout check 10s
maxconn 3000
listen stats
bind 0.0.0.0:1080
mode http
option httplog
maxconn 5000
stats refresh 30s
stats uri /stats
listen ooziebalancer
bind 0.0.0.0:11001
mode tcp
option tcplog
balance leastconn
server ip-172-31-30-69.ap-southeast-1.compute.internal ip-172-31-30-69.ap-southeast-1.compute.internal:11000 check
server ip-172-31-16-68.ap-southeast-1.compute.internal ip-172-31-16-68.ap-southeast-1.compute.internal:11000 check

(可左右滑动)


具体Haproxy的安装及配置这里就不再详细描述,可以参考Fayson前面的文章

《​​如何使用HAProxy实现Impala的负载均衡​​》

《​​如何使用HAProxy实现HiveServer2负载均衡​​》

《​​如何使用HAProxy实现Kerberos环境下的Impala负载均衡​​》

《​​如何在Kerberos环境下使用Haproxy实现HiveServer2负载均衡​​》


3.启用Oozie服务HA



1.使用管理员登录Cloudera Manager的WEB界面,进入oozie服务


如何启用Oozie的HA_mysql_05


2.点击“操作”->”启用High Availability”


如何启用Oozie的HA_mysql_06


3.进入启用Oozie的HA引导界面


如何启用Oozie的HA_负载均衡_07


4.选择已安装MySQL驱动的节点作为Oozie Server


如何启用Oozie的HA_负载均衡_08


5.点击“继续”,填写Oozie HA时使用的Load Balancer地址(这里就是Haproxy服务所在地址)


ip-172-31-16-68.ap-southeast-1.compute.internal:11002

(可左右滑动)


如何启用Oozie的HA_java_09


6.点击“继续”,启用Oozie的High Availability


如何启用Oozie的HA_java_10


7.启用成功


如何启用Oozie的HA_负载均衡_11


点击“完成”,至此已完成Oozie Server的HA配置。


4.Oozie服务HA测试



1.在Hue中创建一个SparkWorkflow测试工作流


如何启用Oozie的HA_mysql_12


2.提交作业


如何启用Oozie的HA_mysql_13


3.在Workflow运行的过程中停掉其中一个OozieServer服务


如何启用Oozie的HA_负载均衡_14

如何启用Oozie的HA_负载均衡_15


4.作业运行成功


如何启用Oozie的HA_java_16


Yarn应用程序显示


如何启用Oozie的HA_java_17


5.总结



  • 集群的元数据存在在外部数据库MySQL中,在部署Oozie服务的节点需要安装MySQL的JDBC驱动
  • Oozie启用高可用时需要使用Haproxy或Keepalived等方式实现Oozie服务的高可用,这里使用Haproxy方式实现。
  • Load Balancer配置为Haproxy服务所在host及监听的11002端口



提示:代码块部分可以左右滑动查看噢


为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。



推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

如何启用Oozie的HA_mysql_18

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操


举报

相关推荐

0 条评论