0
点赞
收藏
分享

微信扫一扫

如何使用HAProxy实现HiveServer2负载均衡

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。


1.文档编写目的



前面Fayson介绍了《​​如何使用HAProxy实现Impala的负载均衡​​》,本文主要介绍如何使用HAProxy实现Hive服务的负载均衡。


  • 内容概述

1.HAProxy配置HiveServer2负载均衡

2.Beeline及Java JDBC测试


  • 测试环境

1.CM和CDH版本为5.13.0

2.采用root用户操作

3.集群未启用Kerberos

4.HAProxy1.5.18


2.HAProxy配置HiveServer2负载均衡



这里Fayson就不再赘述HAProxy的安装,具体你可以参考之前的文章《​​如何使用HAProxy实现Impala的负载均衡​​》,本文的配置也是基于前面文章的配置文件。


1.编辑/etc/haproxy/haproxy.cfg文件,在文件末尾增加如下配置

listen hivejdbc
bind 0.0.0.0:25005
mode tcp
option tcplog
balance leastconn
server ip-172-31-5-190.fayson.com ip-172-31-5-190.fayson.com:10000 check
server ip-172-31-6-148.fayson.com ip-172-31-6-148.fayson.com:10000 check

如何使用HAProxy实现HiveServer2负载均衡_hadoop


2.重启HAProxy服务

[root@ip-172-31-9-33 haproxy]# service haproxy restart

如何使用HAProxy实现HiveServer2负载均衡_负载均衡_02


3.浏览器访问http://{hostname}:1080/stats

如何使用HAProxy实现HiveServer2负载均衡_hadoop_03

看到以上截图说明,已成功配置了HiveServer2服务的负载均衡。


3.Beeline测试



使用多个终端同时访问,并执行SQL语句,查看是否会通过HAProxy服务自动负载到其它HiveServer2节点


1.使用Beeline访问HAProxy服务的25005端口,命令如下

[root@ip-172-31-6-148 ~]# beeline beeline> !connect jdbc:hive2://ip-172-31-9-33.fayson.com:25005
...
Enter username for jdbc:hive2://ip-172-31-9-33.fayson.com:25005: hiveEnter password for jdbc:hive2://ip-172-31-9-33.fayson.com:25005:


2.同时打开三个终端访问HiveServer2并执行SQL

终端一

如何使用HAProxy实现HiveServer2负载均衡_hadoop_04


终端二:

如何使用HAProxy实现HiveServer2负载均衡_hadoop_05


终端三:

如何使用HAProxy实现HiveServer2负载均衡_hadoop_06


3.通过访问HAProxy的统计页面可以看到如下信息

如何使用HAProxy实现HiveServer2负载均衡_hadoop_07

通过以上测试可以看到,三个终端执行的SQL不在同一个HiveServer2,这样就实现了HiveServer2服务的负载均衡。


4.Hive JDBC测试



这里Java的测试工程就不详细描述如何创建了,前面的文章Fayson也有讲过。

1.Maven依赖

<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.6.5</version>
</dependency>
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-jdbc</artifactId>
<version>1.1.0</version>
</dependency>


2.配置JDBC的地址为HAProxy服务所在的IP端口为25005

如何使用HAProxy实现HiveServer2负载均衡_hadoop_08


3.运行代码,查看运行结果

如何使用HAProxy实现HiveServer2负载均衡_负载均衡_09



为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。





推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

如何使用HAProxy实现HiveServer2负载均衡_hadoop_10

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操


举报

相关推荐

0 条评论