0
点赞
收藏
分享

微信扫一扫

[OS] 项目三-4-sysfile.c:

RJ_Hwang 2024-11-08 阅读 17

以下是对 KafkaZookeeperFlumeNginxSqoopETL 的详细介绍,它们在大数据处理和分布式系统中有着重要的应用。


1. Kafka

Apache Kafka 是一个开源的分布式消息队列系统,主要用于构建实时数据流处理系统

1.1 核心特性

  • 分布式架构:Kafka 的 Broker(消息代理)可以组成集群,提供高可用性和扩展性。
  • 高吞吐量:支持高吞吐量的消息处理,即使在低硬件资源下也能保持稳定。
  • 持久化存储:Kafka 使用磁盘顺序写入来存储消息,并支持日志分段和保留策略。
  • 消息消费模式
    • 点对点(P2P):每个消息只能被一个消费者消费。
    • 发布/订阅(Pub/Sub):消息可以被多个消
举报

相关推荐

0 条评论