0
点赞
收藏
分享

微信扫一扫

用kettle9.0创建高效ETL流程

史值拥 2023-04-14 阅读 76

1.转换

转换包括一个或多个步骤,步骤之间通过跳(hop)来连接。跳定义了一个单向通道,允许数据从一个步骤流向另一个步骤。在Kettle中,数据的单位是行,数据流就是数据行从一个步骤到另一个步骤的移动。

(1).打开 kettle,点击 文件->新建->转换

用kettle9.0创建高效ETL流程_SQL

(2).在左边 DB 连接处点击新建。

用kettle9.0创建高效ETL流程_MySQL_02

(3).根据提示配置数据库,配置完成后可以点击测试进行验证,这边以 MySQL 为例。

用kettle9.0创建高效ETL流程_MySQL_03

(4).在左侧找到表输入(核心对象->输入->表输入),拖到右方。

用kettle9.0创建高效ETL流程_数据_04

(5).双击右侧表输入,进行配置,选择数据源,并输入 SQL。可以点击预览进行预览数据。

用kettle9.0创建高效ETL流程_MySQL_05

用kettle9.0创建高效ETL流程_数据_06

(6).在左侧找到插入/更新(核心对象->输出->插入/更新),拖到右方。

用kettle9.0创建高效ETL流程_MySQL_07

(7).按住 Shift 键,把表输入和插入/更新用线连接起来。

用kettle9.0创建高效ETL流程_MySQL_08

(8).双击插入/更新进行配置。

用kettle9.0创建高效ETL流程_数据_09

(9).点击运行,就可以运行这一个转换。

用kettle9.0创建高效ETL流程_数据_10

(10).运行结束后,我们可以在下方看到运行结果,其中有日志,数据预览等,我们可以看到一共读取了多少条数据,插入更新了多少数据等等。

用kettle9.0创建高效ETL流程_SQL_11

这样就完成了一个最简单的转换,从一个表取数据,插入更新到另一个表

2.作业

如果想要定时运行这个转换,那么就要用到作业。

(1).新建一个作业。

用kettle9.0创建高效ETL流程_MySQL_12

(2).从左侧依次拖动 START 、转换、成功到右侧,并用线连接起来。

用kettle9.0创建高效ETL流程_MySQL_13

(3).双击 START,可以配置作业的运行间隔,这边配置了每1分钟运行一次。

用kettle9.0创建高效ETL流程_数据_14

(4).双击转换,选择之前新建的那个转换。

用kettle9.0创建高效ETL流程_数据_15

(5).点击运行,就能运行这次作业,点击停止就能停止。在下方执行结果,可以看到运行的日志。

用kettle9.0创建高效ETL流程_SQL_16

这样就完成了一个最简单的作业,每隔1分钟,将源表的数据迁移到目标表。

举报

相关推荐

0 条评论