DMETL工具的使用
2022年10月
达梦数据库
简介
入门案例
2.1 业务需求
DMETLV5.0的使用通常可以分为五个主要步骤:创建数据源、创建工程、设计转换、设计作业和查看运行日志五个步骤。
EMPLOYEEINFO 表位于 QUICKSTART 模式下,其结构如下:
由该表和原来的相关表比较可以分析出需要使用 DMETL V5.0 完成以下功能:
从 EMPLOYEE_DEPARTMENT、DEPARTMENT 表获取员工所属部门;
从 PERSON 表中获取员工姓名、性别、email 地址、电话号码;
性别字段中的“M”替换为“男”,“F”替换为“女”;
婚姻状况(EMPLOYEE.MARITALSTATUS)中的“S”替换为“未婚”,“M”替换 为“已婚”;
手工或者定期更新员工信息表。
2.1.1创建数据库源操作步骤
- 登录界面以后,点击设计下面有数据源,如下图
- 点击数据源,新建数据源,选择添加数据源的数据类型,如果是DM8,数据库类型就选择DM8,如果是oracle11g,数据库类型选择oracle11g,名称如下图所示。
-
3.输入相应的主机名,端口号,用户名,密码,sid等信息,可以测试连接是否正常,就确定,如下图 - 点击左边新建的数据源,右键添加表或者视图等信息。
- 选择相应的模式或者用户,把需要的表加入到数据源,需要加入的表勾上,点击确定就可以,如下图:
2.1.2 创建工程
1.点击设计输入相应的工程名称,如下图:
- 工程创建好以后,每个工程下面有相应的转换,作业,函数,调度等信息
2.1.2.1 创建转换
1.点击转换,右键新建,输入转换名称,比如员工信息合并,如下图:
- 双击创建好的信息合并,进入流程设计界面,可以通过拖拉方式把表,sql查询等流程设计流转,如下图是一个简单的示例:
- 在右边有一个数据读取下有一个表/视图,拉到流程设计里面来,双击表/视图,可以看到下图信息,点击浏览,选择数据源,模式,表信息,点击确定,如下图所示:
- 表信息添加好,右键查看预览运行结果,可以看到查询信息,如下图所示:
- 添加一个sql查询,把部门与人员中间表与部门表使用sql查询出来,如下图:
- 使用右边数据转换下的连接工具把表与sql查询做连接,使用连接先把表与连接,使用sql查询与连接上,如下图所示
- 双击连接,把表与sql查询使用左连接,两个结果集共同列作为连接列,如下图:
-
9使用列转换,把列名修改成与目标表相同的列名,下图所示: - 从新创建一个转换,把人员基本信息,比如姓名,性别,出生日期等信息写入缓存中。
- 双击person键值缓存,在右边数据读取,表/视图,选择person表,如下图:
- 从右边数据装载下,有一个键值缓存写入,把表/视图与键值缓存写入用连接线连接,如下图所示:
- 可以运行预览结果,查看键值缓存写入结果集,如下图:
-
13.返回到创建的第一个转换流程中,在右边把数据集查找拉到流程中,选择相应的键值缓存,做到相同列作为连接条件,如下图所示: - 数据集查询出来的数据,有一些键值不满足要求,比如,结果集中列值,性别使用M代表男,F代表女,S代表未婚,M代表已婚,需要使用数据清洗把对应的键值转换成满足业务要求的字符串,如下图所示:
- 上面操作完成以后,在右边下面有一个数据装载,下面有一个表,拖到流程中来,使用连接线连接,点开表信息,是不是与结果集匹配,如果完全匹配,流程可以正常流转。
2.1.3 新建作业
1.点击作业右键,新建作业名称:
- 双击新建的作业名,把两个转换加入到作业中,使用连接线把两个转换连接,如下图:
- 保存退出来可以。
2.1.4 新建调度
1.点击调度,新建调度,输入调度名称,调度类型,执行日期,日期频率,时间频率等信息,如下图所示:
- 调度做完以后,返回到作业,点中作业,右键,有一个配置调度,应用刚才新建的调度,作业就会按照设置的调度执行作业,如下图:
2.2 查询流程运行日志
点击设计下面的流程统计,可以查询你创建的工程执行情况,有成功和失败统计信息等信息。