这里主要是从不同使用场景来调优,仅供参考。
吞吐量优先
吞吐量优先使用场景如采集日志。
1. broker配置调优
2. producer配置调优
3. consumer配置调优
低延时优先
使用场景有实时数据传输,比如弹幕
1. broker配置调优
2. producer配置调优
3. consumer配置调优
可靠性优先
将kafka作为核心数据源,不允许kafka出现数据丢失情况的业务架构。
1. broker配置调优
2. producer配置调优
3. consumer配置调优
可用性优先
将kafka作为核心依赖,不允许kafka出现长时间不可用情况的业务架构(对数据可靠性要求不高,不阻塞读写就行)