0
点赞
收藏
分享

微信扫一扫

Flink 读取 Kafka 消息写入 Hudi 表无报错但没有写入任何记录的解决方法

_刘彦辉 2024-02-01 阅读 10
参数名含义默认值解释
max.request.size生产端:最大请求字节大小1MB如果生产请求消息体大小大于该值,客户端生产时会报错
max.poll.records消费端:一次poll()请求最大拉取消息条数500条如果单条消息处理时间长,需要减少该参数值,反之增加
fetch.min.bytes消费端:一次poll()请求最小返回字节大小1增加该值可以提高吞吐量,同时也会产生一定延迟
fetch.max.bytes消费端:一次poll()请求最大返回字节大小50MB注意:若在第一个非空分区中拉取的第一条消息大于该值,消息仍会被返回
fetch.max.wait.ms消费端:返回消息大小不满足fetch.min.bytes时最长等待时间500ms与fetch.min.bytes参数共同作用
batch.sizelinear.msbatch.size共同控制消息异步发送频率;当batch大小达到batch.size或满足linger.ms时间间隔时,消息16KB如果期望提高吞吐量,可以增加至 100000–200000;如果期望低生产时延,则建议使用默认值;
linger.mslinear.msbatch.size共同控制消息异步发送频率;当batch大小达到batch.size或满足linger.ms时间间隔时,消息0如果希望提高吞吐量,可以增加至 10–100;如果期望低生产时延,则建议使用默认值
message.max.bytes服务端配置,控制服务端接受可的最大生产批次消息大小1MB如果生产请求消息体大小大于该值,服务端会返回错误响应;如果开启了消息压缩,则校验压缩后消息体大小
max.partition.fetch.bytes消费端:一次poll()请求每个分区最大返回字节大小1MB
举报

相关推荐

0 条评论