0
点赞
收藏
分享

微信扫一扫

如何使用java代码通过JDBC连接Hive(附github源码)

Greatiga 2022-09-21 阅读 212

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。


1.文档编写目的



前面我们讲过《​​如何使用java代码通过JDBC连接Impala(附Github源码)​​》,本篇文章主要讲述如何使用Java代码通过JDBC的方式连接Hive。


  • 内容概述

1.环境准备

2.非Kerberos及Kerberos环境连接示例


  • 测试环境

1.Kerberos集群CDH5.11.2,OS为Redhat7.2

2.非Kerberos集群CDH5.13,OS为CentOS6.5


  • 前置条件

1.集群已安装HiveServer2服务正常

2.Kerberos和非Kerberos集群HiveServer2服务正常


2.环境准备



1.创建Java工程jdbcdemo


如何使用java代码通过JDBC连接Hive(附github源码)_cloudera


2.添加Maven依赖


<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.6.5</version>
</dependency>
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-jdbc</artifactId>
<version>1.1.0</version>
</dependency>


3.非Kerberos环境



1.示例代码


private static String JDBC_DRIVER = "org.apache.hive.jdbc.HiveDriver";private static String CONNECTION_URL ="jdbc:hive2://54.251.129.76:10000/";static {
try {
Class.forName(JDBC_DRIVER);
} catch (Exception e) {
e.printStackTrace();
}
}public static void main(String[] args) {
System.out.println("通过JDBC连接非Kerberos环境下的HiveServer2");
Connection connection = null;
ResultSet rs = null;
PreparedStatement ps = null;
try {
connection = DriverManager.getConnection(CONNECTION_URL);
ps = connection.prepareStatement("select * from test_table");
rs = ps.executeQuery();
while (rs.next()) {
System.out.println(rs.getInt(1) + "-------" + rs.getString(2));
}

} catch (Exception e) {
e.printStackTrace();
} finally {
JDBCUtils.disconnect(connection, rs, ps);
}
}


如何使用java代码通过JDBC连接Hive(附github源码)_h5_02


2.示例代码运行


如何使用java代码通过JDBC连接Hive(附github源码)_hive_03


4.Kerberos环境



连接Kerberos环境下的Hive需要准备Kerberos的krb5.conf文件及keytab文件。

注意:Fayson的测试环境是AWS,所以将kdcHiveServer2服务的IP地址修改为相应的外网地址,JDBCURLKerberos信息是连接的HiveServer2服务对应Prinical信息。


如何使用java代码通过JDBC连接Hive(附github源码)_hive_04


  • krb5.conf配置,直接将集群的krb5.conf文件拷贝至本地开发环境下


# Configuration snippets may be placed in this directory as wellincludedir /etc/krb5.conf.d/[logging]
default = FILE:/var/log/krb5libs.log
kdc = FILE:/var/log/krb5kdc.log
admin_server = FILE:/var/log/kadmind.log

[libdefaults]
dns_lookup_realm = false
ticket_lifetime = 24h
renew_lifetime = 7d
forwardable = true
rdns = false
default_realm = CLOUDERA.COM
#default_ccache_name = KEYRING:persistent:%{uid}[realms]
CLOUDERA.COM = {
kdc = 54.179.148.25
admin_server = 54.179.148.25
}


如何使用java代码通过JDBC连接Hive(附github源码)_h5_05


keytab文件生成


[ec2-user@ip-172-31-22-86 ~]$ sudo kadmin.localAuthenticating as principal hive/admin@CLOUDERA.COM with password.kadmin.local:  xst -norandkey -k fayson.keytab fayson@CLOUDERA.COM


如何使用java代码通过JDBC连接Hive(附github源码)_hive_06


1.示例代码


private static String JDBC_DRIVER = "org.apache.hive.jdbc.HiveDriver";private static String CONNECTION_URL ="jdbc:hive2://54.179.148.25:10000/;principal=hive/ip-172-31-22-86.ap-southeast-1.compute.internal@CLOUDERA.COM";static {
try {
Class.forName(JDBC_DRIVER);

} catch (ClassNotFoundException e) {
e.printStackTrace();
}
}public static void main(String[] args) throws Exception {
//登录Kerberos账号 System.setProperty("java.security.krb5.conf", "/Volumes/Transcend/keytab/krb5.conf");
Configuration configuration = new Configuration();
configuration.set("hadoop.security.authentication" , "Kerberos" );
UserGroupInformation. setConfiguration(configuration);
UserGroupInformation.loginUserFromKeytab("fayson@CLOUDERA.COM", "/Volumes/Transcend/keytab/fayson.keytab");

Connection connection = null;
ResultSet rs = null;
PreparedStatement ps = null;
try {
connection = DriverManager.getConnection(CONNECTION_URL);
ps = connection.prepareStatement("select * from test_table");
rs = ps.executeQuery();
while (rs.next()) {
System.out.println(rs.getInt(1));
}
} catch (Exception e) {
e.printStackTrace();
} finally {
JDBCUtils.disconnect(connection, rs, ps);
}
}


如何使用java代码通过JDBC连接Hive(附github源码)_hive_07


2.示例代码运行


如何使用java代码通过JDBC连接Hive(附github源码)_h5_08


GitHub源码地址:

​​https://github.com/javaxsky/cdhproject​​



为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。





推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

如何使用java代码通过JDBC连接Hive(附github源码)_cloudera_09

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操


举报

相关推荐

0 条评论