最近使用kafka入Hologres碰到这个问题,作为新手的我研究很久终于解决这个问题,记录一下。
一、调大SESSION_TIMEOUT_MS_CONFIG和REQUEST_TIMEOUT_MS_CONFIG
二、调大FETCH_MAX_BYTES_CONFIG和MAX_PARTITION_FETCH_BYTES_CONFIG。 我这里之前设置了100K,现在设置为5M,解决问题。有兴趣的同学可以研究下kafka消费短参数,参数设置对了,可以解决大部分问题。
三、Hologres可以使用HoloClient,进行批量入库,比jdbc的多线程入库要好。