0
点赞
收藏
分享

微信扫一扫

kettle庖丁解牛第7篇之DB连接中篇

引言

上一篇文章中,我们介绍了:JDBC相关内容(简介、架构图、代码实战)、kettle中的DB连接(连接mysql)。

在本篇文章中,我们接着介绍:HiveServer2服务相关内容、kettle中的DB连接(连接hive、连接impala)。

别看本篇就2个知识点,兄弟们坑也不少呢,让我们一起来踩坑吧!

Hive端配置

要想使用jdbc连接你的Hive,你要连接的主机上必须开启了HiveServer2服务。

查询HiveServer2服务所在主机

1、CDH平台

点击Hive组件

kettle庖丁解牛第7篇之DB连接中篇_database

选择 配置标签

kettle庖丁解牛第7篇之DB连接中篇_impala_02

查看主机名

kettle庖丁解牛第7篇之DB连接中篇_impala_03

2、其它平台

HiveServer2服务开启后,默认会启动端口10000,所以通过查询本机是否开启10000端口即可。

[root@hadoop ~]$  sudo netstat -anp|grep 10000

如何开启HiveServer2服务

1、启动hiveserver2服务

[root@hadoop ]$ nohup hiveserver2 &

[root@hadoop hive]$ jps       

发现多了一个进程叫:RunJar

2、查看端口(比较慢)

[root@hadoop ~]$ sudo netstat -anp|grep 10000

tcp6 0 0 :::10000 :::* LISTEN 10840/java

kettle创建Hive类型DB连接

加载hive驱动

kettle存放驱动包的位置:pdi-ce-8.3.0.0-371\data-integration\lib

将hive的驱动jar包,拷贝到kettle存放驱动包的位置,如下截图

kettle庖丁解牛第7篇之DB连接中篇_hive_04

加载数据库对应的驱动,这一步是必须的,如果不做这一步,后续在创建DB连接时,直接报错找不到对应的驱动类。

创建转换

我们要做的ETL操作,全是在转换中设计的,所以我们要先创建一个转换。

kettle庖丁解牛第7篇之DB连接中篇_database_05

kettle庖丁解牛第7篇之DB连接中篇_sql_06

保存转换

kettle庖丁解牛第7篇之DB连接中篇_sql_07

给你新建的转换,起个名字,并保存

kettle庖丁解牛第7篇之DB连接中篇_hive_08

创建DB连接

kettle庖丁解牛第7篇之DB连接中篇_hive_09

kettle庖丁解牛第7篇之DB连接中篇_kettle_10

kettle庖丁解牛第7篇之DB连接中篇_database_11

兄弟们仔细看一下,此处填写的信息,正是我们jdbc需要配置的相关信息。

kettle庖丁解牛第7篇之DB连接中篇_kettle_12

兄弟们,看到这个弹框提示的successfully的内容,恭喜恭喜你已经成功的使用kettle创建了一个连接hive的DB连接!!!

kettle庖丁解牛第7篇之DB连接中篇_database_13

kettle庖丁解牛第7篇之DB连接中篇_kettle_14

展开DB连接标签,就可以看到我们上面创建的DB连接,兄弟们跟着我一步一步操作,相信你和我一样成功了,嘿嘿你真棒!!!

kettle创建Impala类型DB连接

加载impala驱动

kettle存放驱动包的位置:pdi-ce-8.3.0.0-371\data-integration\lib

将impala的驱动jar包,拷贝到kettle存放驱动包的位置,如下截图

kettle庖丁解牛第7篇之DB连接中篇_sql_15

加载数据库对应的驱动,这一步是必须的,如果不做这一步,后续在创建DB连接时,直接报错找不到对应的驱动类。

创建转换

我们要做的ETL操作,全是在转换中设计的,所以我们要先创建一个转换。

kettle庖丁解牛第7篇之DB连接中篇_database_05

kettle庖丁解牛第7篇之DB连接中篇_sql_06

保存转换

kettle庖丁解牛第7篇之DB连接中篇_sql_07

给你新建的转换,起个名字,并保存

kettle庖丁解牛第7篇之DB连接中篇_hive_08

创建DB连接

kettle庖丁解牛第7篇之DB连接中篇_hive_09

kettle庖丁解牛第7篇之DB连接中篇_kettle_10

kettle庖丁解牛第7篇之DB连接中篇_kettle_22

兄弟们仔细看一下,此处填写的信息,正是我们jdbc需要配置的相关信息。

kettle庖丁解牛第7篇之DB连接中篇_hive_23

兄弟们,看到这个弹框提示的successfully的内容,恭喜恭喜你已经成功的使用kettle创建了一个连接impala的DB连接!!!

kettle庖丁解牛第7篇之DB连接中篇_sql_24

kettle庖丁解牛第7篇之DB连接中篇_impala_25

结束语

本篇文章主要详细的讲解了:HiveServer2服务相关内容、kettle中的DB连接(连接hive、连接impala)。

来看文章的兄弟们,技术功底是不一样的,这篇就写到这吧。下一篇带来的是DB连接下篇,我会详细扩展一下sqlserver数据库的连接实现。

兄弟们,其实想和作是有一段距离的,你想着想着就没有了,可是你做着做着,它就落地了。

啥都别说了,兄弟们后面跟着我干就完了,我们依然掰开揉碎的方式去说。后续的内容更精彩,敬请期待,感谢兄弟们的关注!!

举报

相关推荐

0 条评论