kafka概述

zhoulujun

关注

阅读 39

2023-10-18

数据的采集,实时的反馈信息,能够支撑大量的数据,高容错

由Linkedin公司研发
分布式  发布和订阅  海量日志采集系统        

工作模式:发布和订阅 ,将采集的数据存储到内部的消息队列中,在有效的时间内不会失效

特点:
    高吞吐量:每秒处理数十万条消息,和分布式kafka规模有关(broker的个数)
    缓存TB级别数据量
    支持分区,支持压缩... ...


分布式:易扩展,高容错 
    由producer生产者、broker代理、consumer消费者组成 ,三者的个数不定
    生产者:flume/java程序/service
    消费者:storm/hbase/hdfs
    代理节点:broker  , 缓存kafka中传递的数据到broker节点上      

精彩评论(0)

0 0 举报