上一篇博客《还不会使用大数据ETL工具Kettle，你就真的out了!》博主已经为大家介绍了Kettle简单的使用操作，也确实谈到了后面会出较复杂操作的教程，其中当数与大数据组件之前的一些操作。所以本篇博客，博主为大家带来Kettle集成配置大数据的教程，为下一篇Kettle的进阶操作做铺垫!
文章目录
- Kettle集成大数据
- 1. 修改配置文件
- 2. 移动jar包路径
- 3.上传集群核心配置文件到本地并替换
- 4.测试
- 1. 新建一个集群（new Cluster）
- 2. 配置集群信息
Kettle集成大数据
1. 修改配置文件
我们打开Kettle安装目录下的pentaho-big-data-plugin文件夹
data-integration\plugins\pentaho-big-data-plugin
修改plugin.properties文件，把active.hadoop.configuration的值设置成:cdh514
2. 移动jar包路径
我们进入到cdh15文件夹的lib目下
data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh514\lib
可以发现里面有两个文件夹和一堆jar包
我们只需要做的是把client和pmr这两个文件夹里的jar包拿出来放置到它们父目录，也就是图中所示目录下。
3.上传集群核心配置文件到本地并替换
因为后续我们需要kettle连接集群的大数据相关组件，所以这一步需要将集群上相关的核心配置文件上传到window本地，在kettle的目录下进行替换操作!
操作路径为：
data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh514
本步骤中，我们需要替换的配置文件有
是不是很眼熟，这不都是hadoop集群上的核心配置文件吗
是的，我们打开集群，进入到Hadoop的etc/hadoop目录下
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
开始往windows端上传文件
sz yarn-site.xml hdfs-site.xml mapred-site.xml core-site.xml
进入到hive的目录
cd /export/servers/hive-1.1.0-cdh5.14.0/conf
同理
sz hive-site.xml
为了后续也能正常使用hbase，这里的操作也与上面一致
cd /export/servers/hbase-1.2.0-cdh5.14.0/conf
sz hbase-site.xml
然后将文件全部复制到data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh514下替换即可
执行到这里，我们来测试一下环境是否整合好了
4.测试
1. 新建一个集群（new Cluster）
2. 配置集群信息
看到步骤2这样测试显示的结果，说明我们的环境就整合好了~
本篇只是环境整合篇，还未涉及到与Kettle任何实质性的操作，因此就到这就先结束了。下一篇博客博主将为大家详细介绍更多Kettle的转换操作，敬请期待!
如果对你有所帮助，记得点赞评论关注三连|ू･ω･` )
