0
点赞
收藏
分享

微信扫一扫

GBASE consumer 消费数据条数不一致

早安地球 2022-02-28 阅读 127

问题现象

使用 RTsync 同步 db2 中的一张表与 gbase 中的表数据条数不一致,gbase 中多了

500 多条数据。

解决方法:

通过比对发现是 gbase 中没有正确删除部分数据导致,对异常部分的数据进行分析

发现没有删掉的数据都是联合主键中其中一个字段包含了空值导致。

rtsync 生产的消息,isColValNull 永远是 false,所以 consumer 按照 not null 来

处理,导致问题现象。设置 consumer 参数_t_gcluster_kafka_null_transform=1,

这样 consumer 会判断 kafka 消息的数据如果是 A="",会自动认为 A is null,然后

按照 null 的逻辑来处理。

举报

相关推荐

0 条评论