目录
1.引言
昨天用DataX做数据迁移的时候，遇到了一个频繁插入的问题，五分钟一次，一次才几十条数据(60多个字段)。结果就报插入频繁的错误。
寻思也没有超过官方文档里的一秒一次的频次，怎么会报错呢？然后时间间隔扩大到十分钟，也是不行。
2.配置环境
3.网上的其他方法
网上的很多方法都是大数据采用的，用的大部分是spark等工具，所以能调整批次大小和批次频率，公司规模较小不需要用到大数据工具，只是简单的数据集市。
3.1减少插入频次
加大批次读取的数量，降低读取的次数：也不误导了，有需要的可以进行谷歌
3.2升级硬盘
4.最终解决的方法
最后发现必须在json文件里指定splitPk（"splitPk"=''），否则默认是一条一条插入，导致频率超出限制.
当然这个推论还没有到addX代码里去复现，等之后有时间就去探索一下
未完待续......
如果有问题也可以在下方留言讨论
陈棋烂柯，一甲子矣
印象笔记_个人首页
转载须获得本人许可
