数据同步全量增量知识SQL和执行频次不一样，其他的都一样
文章目录
- 一、Oracle同步Mysql(全量)
- 1. 添加项目
- 2. 添加数据源
- 3. 添加任务
- 4. 构建json
- 5. 任务执行
- 6. 查看日志
- 7. 同步数量对比
- 二、Mysql同步Oracle(全量)
- 2.1. 添加构建reader
- 2.2. 添加构建writer
- 2.3. 配置同步映射字段
- 2.4. 构建json
- 2.4. 选择任务模板
- 2.5. 完成任务构建
- 2.6. 数据清理
- 2.7. 任务名称变更
- 2.8. 任务执行一次
- 2.9. 确定任务执行
- 2.10. 查看执行日志
- 2.11. 实时刷新日志
- 2.12. 数据验证
一、Oracle同步Mysql(全量)
1. 添加项目
test-project
2. 添加数据源
3. 添加任务
4. 构建json
{
"job": {
"setting": {
"speed": {
"channel": 3
},
"errorLimit": {
"record": 0,
"percentage": 0.02
}
},
"content": [
{
"reader": {
"name": "oraclereader",
"parameter": {
"column": [
"IDNO",
"COL1",
"COL2",
"COL3",
"DT",
"COL5",
"COL6",
"COL7",
"COL8",
"COL9",
"COL10"
],
"splitPk": "IDNO",
"connection": [
{
"jdbcUrl": [
"jdbc:oracle:thin:@192.xxx.xx.xxx:1521:orcl"
],
"table": [
"TEST.OTBS1"
]
}
],
"username": "username",
"password": "password"
}
},
"writer": {
"name": "mysqlwriter",
"parameter": {
"column": [
"IDNO",
"COL1",
"COL2",
"COL3",
"DT",
"COL5",
"COL6",
"COL7",
"COL8",
"COL9",
"COL10"
],
"connection": [
{
"jdbcUrl": "jdbc:mysql://127.0.0.1:3306/datax?autoReconnect=true&useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=CONVERT_TO_NULL&useSSL=false&serverTimezone=CTT&nullCatalogMeansCurrent=true",
"table": [
"otbs1"
]
}
],
"username": "root",
"password": "123456"
}
}
}
]
}
}
5. 任务执行
6. 查看日志
7. 同步数量对比
二、Mysql同步Oracle(全量)
2.1. 添加构建reader
2.2. 添加构建writer
2.3. 配置同步映射字段
2.4. 构建json
2.4. 选择任务模板
2.5. 完成任务构建
2.6. 数据清理
清空oracle数据otbs1
2.7. 任务名称变更
点击修改任务名称，默认是表名，datax-web未做配置可以二期开发，这是修改后的效果
2.8. 任务执行一次
2.9. 确定任务执行
2.10. 查看执行日志
2.11. 实时刷新日志
如果任务执行没有完成，查看实时日志需要点击刷新
2.12. 数据验证
