文章目录
1.架构
1.1 Kafka
brocker和zk组成
1.2 Pulsar
Pulsar Broker会在本地缓存消息，并且支持TTL，
Pulsar 通过分层架构, 将计算和存储分离, 存储采用BookKeeper集群, 计算使用Broker集群, Brocker 需要内置BookKeeper 客户端
Pulsar的部署和架构更加复杂，但是也更具有伸缩性。
2.消息存储模型
2.1 Kafka
Kafka采用分区Partition的方式保存topic的。
每一个topic都会在不同的brocker上保存多个副本, 其中只有一个副本的分区是leader分区, 消费者使用。
如果某个brocker宕机了, 这个brocker 上的leader分区失效, 会重写选举
2.2 Pulsar
Pulsar的消息存储模型采用了分层的方式
第一层是Topic，用来存储Producer追加的messages，Topic下面是ledger层，保存了分片(Segment)，分片里面保存更小粒度的ertries，entries存储一条条的Message。
Bookkeeper中，数据的最小操作单位是Segment。
Ledger中的最后一个分片是最新写入的分片。
Segment-2之前的所有分片已完成封装，这些分片的数据是不会再发生变化的。这样增加或删除一个BookKeeper节点，或者迁移长期存储节点，都不会发生一致性问题。
3.消息消费模型
3.1 Kafka
Kafka的消费模型是采用消费者组的模式，每一个分区只能给消费者组中的一个消费者消费。
3.2 Pulsar
Consumer通过Subscription获取消息，同一Topic的Subscription可以获取到Topic数据的完整拷贝，这样Subscription为每一个Consumer分配一个Cursor，Consumer之间互不影响。
Pulsar的消费模型有4种
- 独占模式(Exclusive):同一个topic只能有一个消费者订阅，如果多个消费者订阅，就会出错。
- 灾备模式(Failover)：同一个topic可以有多个消费者订阅，但是只能有一个消费者消费，其他订阅的消费者作为故障转移的消费者，只有当前消费者出了故障才可以进行消费当前的topic。
3 . 共享订阅(Shared):同一个topic可以由多个消费者订阅和消费。消息通过round robin轮询机制分发给不同的消费者，并且每个消息仅会被分发给一个消费者。当消费者断开，发送给它的没有被消费的消息还会被重新分发给其它存活的消费者。
4. Key_Shared：消息和消费者都会绑定一个key，消息只会发送给绑定同一个key的消费者。如果有新消费者建立连接或者有消费者断开连接，就需要更新一些消息的key。
4. 多租户
4.1 Pulsar
Pulsar是一个多租户系统，租户可以跨集群分布，每个租户都可以有单独的认证和授权机制。租户也是存储配额、消息 TTL 和隔离策略的管理单元。
Pulsar中topic的URL如下，可以看到租户是最基本的管理单位：
persistent://tenant/namespace/topic
Pulsar通过tenant(租户)和namespace(命名空间)来支持多租户。
Pulsar为实例中的每个租户分配：
- 授权机制
- 适用于租户配置的集群配置
4.2 Kafka
Kafka为了控制客户端对broker资源的限制，从0.9版本引入了配额(quotas)管理，强制客户端请求使用配额。目前Kafka支持两种类型的配额：
- 网络带宽配额，用来定义byte-rate阈值(从0.9版本开始)
- 请求速率配额，将CPU利用率阈值定义为网络和I/O线程的百分比(从0.11开始)
生产者和消费者有可能以很高的速率生产和消费大量的请求，从而垄断broker资源，导致网络饱和，最终影响到其他客户端和broker本身。使用配额可以防止这些问题，让集群体验更好。
5.运维
5.1 集群部署
Kafka去除Zookeeper以后，部署是非常简单的。而Pulsar目前还没有去除Zookeeper的详细计划，而且需要使用到BookKeeper集群，部署复杂不少。
5.2 扩容
Pulsar支持自动负载均衡，这对于增加broker节点和增加存储节点都非常方便。
5.3 云原生支持
Pulsar 计算和存储节点分离，对云原生支持很好。
Kafka 多数组件也支持云原生。
5.4 替换broker
Pulsar的broker节点是无状态的，替换时不用考虑数据丢失。
