0
点赞
收藏
分享

微信扫一扫

Kettle(Pentaho Data Integration)8.2的简单使用

栖桐 2023-11-14 阅读 34

Kettle(Pentaho Data Integration)8.2的简单使用

Kettle(Pentaho Data Integration)是一个开源的ETL工具,全称为KDE Extraction, Transportation, Transformation and Loading Environment。是以Java开发,支持跨平台运行。

这里使用它来帮助我们导入将Excel中的数据导入到mysql中

这里我们通过实践来验证下:

这里有一张数据表t1,结构如下:

CREATE TABLE `t1`  (
  `id` int(11) NOT NULL,
  `name` varchar(255)  NULL
)

有一个Excel文件t1.xls数据如下:

Kettle(Pentaho Data Integration)8.2的简单使用_ETL

这里实践将t1.xls的工作表sheet1的数据导入到mysql里表t1中

打开Kettle

将下载后的Kettle软件解压缩后,找到目录中的Spoon.bat批处理,双击即动打开软件

Kettle(Pentaho Data Integration)8.2的简单使用_Kettle_02

在"帮助->关于"下我们可以看到当前软件版本号

Kettle(Pentaho Data Integration)8.2的简单使用_数据处理_03

这里由于使用了mysql,需要将mysql的驱动下载,放入到lib目录下

Kettle(Pentaho Data Integration)8.2的简单使用_数据处理_04

mysql JDBC驱动下载地址https://mvnrepository.com/artifact/mysql/mysql-connector-java

Kettle(Pentaho Data Integration)8.2的简单使用_Kettle_05

这里选择了5.1.49版本的来测试

Kettle(Pentaho Data Integration)8.2的简单使用_Kettle_06

在使用Kettle需要先安装jdk并配置好环境变量

开始使用

新建转换方案

文件->新建->转换 建立转换方案

Kettle(Pentaho Data Integration)8.2的简单使用_Kettle_07

在”核心对象->输入“拖一个”Excel输入“ 到当前建立的“转换1”方案工作台中

Kettle(Pentaho Data Integration)8.2的简单使用_Kettle_08

在“输出”里找到"表输出"拖一个到工作台中

Kettle(Pentaho Data Integration)8.2的简单使用_ETL_09

”Excel输入“配置

双击工作台中的”Excel输入“弹出窗口对其进行配置

Kettle(Pentaho Data Integration)8.2的简单使用_ETL_10

在“文件->文件或目录“,浏览选择Excel文件,选择完毕,记得点击”增加“,将文件添加到下方”选中的文件“列表中

Kettle(Pentaho Data Integration)8.2的简单使用_Kettle_11

切换到"!工作表"页面,点击”获取工作表名称....“ 弹出窗口,选择需要读取的工作表Sheet1

Kettle(Pentaho Data Integration)8.2的简单使用_ETL_12

Kettle(Pentaho Data Integration)8.2的简单使用_Kettle_13

切换到"!字段"页面,点击”获取来自头部数据的字段...“,取得需要读取的字段,如果发现读取到的Excel字段类型有误,可以修正

Kettle(Pentaho Data Integration)8.2的简单使用_ETL_14

Kettle(Pentaho Data Integration)8.2的简单使用_Kettle_15

通过"预览记录"我们可以测试看是否能读取到数据

Kettle(Pentaho Data Integration)8.2的简单使用_Kettle_16

“表输出”配置

双击工作台中的”表输出“弹出窗口对其进行配置,这里看到数据库连接是空的,可以点击”新建“

Kettle(Pentaho Data Integration)8.2的简单使用_数据处理_17

输入数据库连接参数,输入完毕可点击”测试“验证是否能成功连接数据库

Kettle(Pentaho Data Integration)8.2的简单使用_数据处理_18

选择”目标表“

Kettle(Pentaho Data Integration)8.2的简单使用_ETL_19

建立连接

选中”Excell输入“,出来下方的操作工具条,点击第四个Kettle(Pentaho Data Integration)8.2的简单使用_Kettle_20,后移到“表输出”图标上,创建与”表输出“的连接


Kettle(Pentaho Data Integration)8.2的简单使用_数据处理_21


Kettle(Pentaho Data Integration)8.2的简单使用_ETL_22

 操作过程

Kettle(Pentaho Data Integration)8.2的简单使用_ETL_23

建立连接后,双出”表输出“,进行”数据库字段“配置

选中”指定数据库字段“,由于这里数据库表字段与excel的表头一致,点击”获取字段“,在”插入的字段“里即我们映射完成了,

如果数据库表字段与excel的表头一致,需要自动做好映射

Kettle(Pentaho Data Integration)8.2的简单使用_ETL_24

Kettle(Pentaho Data Integration)8.2的简单使用_ETL_25

查看映射情况

Kettle(Pentaho Data Integration)8.2的简单使用_ETL_26

运行

配置完毕,点击方案左上角的”Kettle(Pentaho Data Integration)8.2的简单使用_数据处理_27“运行按扭,运行这个转换

Kettle(Pentaho Data Integration)8.2的简单使用_ETL_28

Kettle(Pentaho Data Integration)8.2的简单使用_数据处理_29

“启动”运行后我们下方出来的日志,看到运行提示"转换完成",没有报错

Kettle(Pentaho Data Integration)8.2的简单使用_数据处理_30

在”步骤度量“里成功看到”输入“了10

Kettle(Pentaho Data Integration)8.2的简单使用_数据处理_31

通过数据库工具打开表看看结果

Kettle(Pentaho Data Integration)8.2的简单使用_数据处理_32

至此成功完成Kettle的简单使用。

举报

相关推荐

0 条评论