0
点赞
收藏
分享

微信扫一扫

达梦etl的使用

SPEIKE 2022-10-16 阅读 217

DMETL工具的使用​









2022年10月

达梦数据库

简介​

入门案例​

2.1 业务需求

DMETLV5.0的使用通常可以分为五个主要步骤:创建数据源、创建工程、设计转换、设计作业和查看运行日志五个步骤。

EMPLOYEEINFO 表位于 QUICKSTART 模式下,其结构如下:

达梦etl的使用_键值


达梦etl的使用_键值_02


由该表和原来的相关表比较可以分析出需要使用 DMETL V5.0 完成以下功能:

从 EMPLOYEE_DEPARTMENT、DEPARTMENT 表获取员工所属部门;

从 PERSON 表中获取员工姓名、性别、email 地址、电话号码;

性别字段中的“M”替换为“男”,“F”替换为“女”;

婚姻状况(EMPLOYEE.MARITALSTATUS)中的“S”替换为“未婚”,“M”替换 为“已婚”;

手工或者定期更新员工信息表。

2.1.1创建数据库源操作步骤

  1. 登录界面以后,点击设计下面有数据源,如下图
  2. 达梦etl的使用_数据源_03


  3. 点击数据源,新建数据源,选择添加数据源的数据类型,如果是DM8,数据库类型就选择DM8,如果是oracle11g,数据库类型选择oracle11g,名称如下图所示。
  4. 达梦etl的使用_键值_04


  5. 3.输入相应的主机名,端口号,用户名,密码,sid等信息,可以测试连接是否正常,就确定,如下图
  6. 达梦etl的使用_缓存_05


  7. 点击左边新建的数据源,右键添加表或者视图等信息。
  8. 达梦etl的使用_键值_06


  9. 选择相应的模式或者用户,把需要的表加入到数据源,需要加入的表勾上,点击确定就可以,如下图:

达梦etl的使用_键值_07


2.1.2 创建工程

1.点击设计输入相应的工程名称,如下图:

达梦etl的使用_ETL_08


  1. 工程创建好以后,每个工程下面有相应的转换,作业,函数,调度等信息

2.1.2.1 创建转换

1.点击转换,右键新建,输入转换名称,比如员工信息合并,如下图:

  1. 双击创建好的信息合并,进入流程设计界面,可以通过拖拉方式把表,sql查询等流程设计流转,如下图是一个简单的示例:
  2. 达梦etl的使用_键值_09


  3. 在右边有一个数据读取下有一个表/视图,拉到流程设计里面来,双击表/视图,可以看到下图信息,点击浏览,选择数据源,模式,表信息,点击确定,如下图所示:
  4. 达梦etl的使用_ETL_10


  5. 达梦etl的使用_键值_11


  6. 表信息添加好,右键查看预览运行结果,可以看到查询信息,如下图所示:
  7. 达梦etl的使用_键值_12

    达梦etl的使用_键值_13


  8. 添加一个sql查询,把部门与人员中间表与部门表使用sql查询出来,如下图:
  9. 达梦etl的使用_键值_14


  10. 使用右边数据转换下的连接工具把表与sql查询做连接,使用连接先把表与连接,使用sql查询与连接上,如下图所示
  11. 达梦etl的使用_ETL_15


  12. 达梦etl的使用_数据源_16


  13. 双击连接,把表与sql查询使用左连接,两个结果集共同列作为连接列,如下图:
  14. 达梦etl的使用_ETL_17


  15. 9使用列转换,把列名修改成与目标表相同的列名,下图所示:
  16. 达梦etl的使用_键值_18


  17. 从新创建一个转换,把人员基本信息,比如姓名,性别,出生日期等信息写入缓存中。
  18. 达梦etl的使用_缓存_19


  19. 双击person键值缓存,在右边数据读取,表/视图,选择person表,如下图:
  20. 达梦etl的使用_数据源_20


  21. 从右边数据装载下,有一个键值缓存写入,把表/视图与键值缓存写入用连接线连接,如下图所示:
  22. 达梦etl的使用_键值_21


  23. 可以运行预览结果,查看键值缓存写入结果集,如下图:
  24. 达梦etl的使用_数据源_22


  25. 13.返回到创建的第一个转换流程中,在右边把数据集查找拉到流程中,选择相应的键值缓存,做到相同列作为连接条件,如下图所示:
  26. 达梦etl的使用_ETL_23


  27. 数据集查询出来的数据,有一些键值不满足要求,比如,结果集中列值,性别使用M代表男,F代表女,S代表未婚,M代表已婚,需要使用数据清洗把对应的键值转换成满足业务要求的字符串,如下图所示:
  28. 达梦etl的使用_缓存_24


  29. 上面操作完成以后,在右边下面有一个数据装载,下面有一个表,拖到流程中来,使用连接线连接,点开表信息,是不是与结果集匹配,如果完全匹配,流程可以正常流转。

达梦etl的使用_缓存_25


2.1.3 新建作业​

1.点击作业右键,新建作业名称:

达梦etl的使用_键值_26


  1. 双击新建的作业名,把两个转换加入到作业中,使用连接线把两个转换连接,如下图:
  2. 达梦etl的使用_ETL_27


  3. 保存退出来可以。

2.1.4 新建调度​

1.点击调度,新建调度,输入调度名称,调度类型,执行日期,日期频率,时间频率等信息,如下图所示:

达梦etl的使用_缓存_28


  1. 调度做完以后,返回到作业,点中作业,右键,有一个配置调度,应用刚才新建的调度,作业就会按照设置的调度执行作业,如下图:

达梦etl的使用_键值_29


2.2 查询流程运行日志​

点击设计下面的流程统计,可以查询你创建的工程执行情况,有成功和失败统计信息等信息。

达梦etl的使用_数据源_30




举报

相关推荐

0 条评论