收藏！200+ 精选 Apache Pulsar 资料合集

Apache Pulsar 作为云原生时代消息流系统，采用存储计算分离架构，支持大集群、多租户、百万级 Topic、跨地域数据复制、持久化存储、分层存储、高可扩展性等企业级和金融级功能。Apache Pulsar 提供了统一的消费模型，支持消息队列和流两种场景，既能为队列场景提供企业级读写服务质量和强一致性保障，又能为流场景提供高吞吐、低延迟。 Apache Pulsar 能够帮助你解决旧有技术痛点，节省成本、更好助力团队创造业务价值，突破旧技术边界！

可能你对 Apache Pulsar 还不甚熟悉，不知道怎么入手，那你来到这里就对了，我们首推大家阅读、查阅 - Apache Pulsar 官方文档^[1] 。同时，本文也整合了 Apache Pulsar 中文用户组近几年发布的优质干货资料，它是一份小百科、大集锦，希望对你有帮助。休闲时刻，欢迎了解阅读哟😄️

认识 Apache Pulsar

初识 Apache Pulsar

• • 解析云原生消息流系统 Apache Pulsar 能力及场景
• • 《新程序员》杂志｜李鹏辉谈开源云原生消息流系统
• • 理解 Apache Pulsar 工作原理
• • Apache Pulsar：从消息系统到流原生平台
• • 深度解析 Apache Pulsar 五大应用场景
• • 多图科普 Apache Pulsar
• • 入门特辑｜5000 字阐述 Apache Pulsar 的核心特性和设计概览
• • 从消息系统到数据平台
• • Apache Pulsar 里程碑简史：打造统一消息流平台与生态

为什么选择 Apache Pulsar（Pulsar vs Kafka）

• • 性能比拼：2022 Apache Pulsar 与 Kafka 基准测试报告出炉
• • Pulsar和Kafka基准测试：Pulsar性能精准解析（完整版）
• • 对比 Apache Kafka和Apache Pulsar创建工作队列
• • Apache Pulsar 与 Kafka 性能比较：延迟性（测试结果）
• • Apache Pulsar 与 Kafka 性能比较：延迟性（测试过程）
• • Apache Pulsar 与 Kafka 性能比较：延迟性（测试方法）
• • Pulsar VS. Kafka（1）: 统一的消息消费模型（Queue + Stream）
• • Pulsar VS. Kafka（2）: 以Segment为中心的架构
• • Apache Pulsar 与 Apache Kafka 在金融场景下的性能对比分析
• • 选择 Apache Pulsar 而非 Kafka 的 10 个理由
• • 选择 Pulsar 而不是 Kafka 的 7 大理由
• • 科普：Pulsar 和 Kafka 架构对比

核心组件概述

• • Pulsar IO 简介
• • Pulsarctl 介绍
• • Pulsar Connector 预览篇
• • Pulsar Source 入门篇
• • Pulsar Sink 入门指南
• • Pulsar Kafka Client 简单介绍
• • Apache BookKeeper 简介
• • 一篇文章了解 Pulsar Functions
• • Pulsar Functions 的深入小分享

视频教程

• • StreamNative 联合传智教育推出免费 Apache Pulsar 中文视频教程
• • 深度解读 Apache Pulsar 源码阅读正确姿势
• • TGIP-CN 视频合集^[2]

图书

• • 《Mastering Apache Pulsar》^[3]
• • 《Apache Pulsar in Action》^[4]

安装 Apache Pulsar

• • 本地安装^[5]
• • 在 Docker 安装^[6]
• • 在 Kubernetes 上安装^[7]

Apache Pulsar 使用与实践

Functions

• • Pulsar Functions 简要指南：原理、目标与规划
• • Functions Debug 终极指南
• • Pulsar Functions Worker 的选举机制
• • Apache Pulsar 之 Java Function 实践篇
• • Apache Pulsar 之 Python Function
• • 基于 Pulsar Functions 的事件处理设计模式
• • 深入理解 Apache Pulsar Connector 与 Functions 的关系
• • Apache Pulsar 之 Go Function
• • 新功能详解：Pulsar Function Mesh
• • 借助 Pulsar Functions 迁移到无服务应用程序
• • 使用 Apache Pulsar Functions 进行简单事件处理
• • Function Mesh：Serverless 在消息与流数据场景下的火花
• • 使用自定义指标在 Kubernetes 中自动扩展 Pulsar Functions

Schema

• • 深度解读 Pulsar Schema
• • Pulsar IO 中 Schema 的调用流程
• • Pulsar Schema Registry
• • 有效管理数据安全性—— Pulsar Schema 管理

BookKeeper

• • 5 张图带你快速入门 Pulsar 的存储引擎 BookKeeper
• • 为什么选择 Apache BookKeeper - Part 1
• • 为什么选择 Apache BookKeeper — Part 2
• • 深入解析Apache BookKeeper 系列：第一篇 — 架构原理
• • 深入解析 Apache BookKeeper 系列：第二篇 — 写操作原理
• • 深入解析 Apache BookKeeper 系列：第三篇——读取原理
• • 深入解析 Apache BookKeeper 系列：第四篇—背压
• • 深入解析 BookKeeper 多副本协议（一）
• • Apache BookKeeper 洞察（一） — 外部共识和动态成员
• • Apache BookKeeper 洞察（二）— 安全关闭 Ledger
• • 深入解析 BookKeeper 协议模型与验证
• • 调试 BookKeeper 协议 - 无界 Ledger
• • Apache BookKeeper 可观测性第二篇—编写 USE 指标
• • Apache BookKeeper 可观测性第三篇—深度解析写入指标
• • Apache BookKeeper 可观测性第四篇——读取 USE 指标
• • Apache BookKeeper 可观测性第五篇——读取指标详解
• • 放弃 Ceph，Salesforce 使用 Apache BookKeeper 在云中实现最强存储

日志

• • 使用 Elastic Beats 搜集日志到 Pulsar
• • 如何使用 Apache Flume 发送日志数据至 Apache Pulsar
• • Apache Pulsar 基于 Log4j2+Kafka+ELK 实现日志的快速检索

消息追踪

• • 如何使用 OpenTracing 和 Jaeger 追踪 Pulsar 消息
• • 使用 Apache SkyWalking 对 Apache Pulsar 进行消息链路追踪与性能监控

Pulsar 集群与跨地域复制

• • 跨地域复制系列(一) Apache Pulsar Pulsar的跨地域复制机制介绍
• • 跨地域复制系列(二) Apache Pulsar 的跨地域复制实践
• • MacOS 单机搭建 Pulsar 集群
• • 在多台 Linux 服务器上搭建 Pulsar 集群
• • 订阅状态的复制？跨机房同步下如何应用
• • Apache Pulsar 集群如何确保消息不丢
• • Apache Pulsar 三大跨地域复制解决方案
• • 博文推荐｜Apache Pulsar 跨地域复制方案选型实践

Pulsar 资源隔离实践

• • 深度解析如何在 Pulsar 中实现隔离（系列一）
• • 零经验玩转隔离策略：多个 Pulsar 集群（系列二）
• • Pulsar 独立集群如何实现单一、共享 BookKeeper（系列三）
• • Apache Pulsar 隔离：单集群隔离策略 （系列四）

数据查询

• • Pulsar 如何应用到数据查询中
• • Pulsar SQL -- 数据流的并发查询
• • 用 Apache Pulsar SQL 查询数据流

分层/分级存储

• • Apache Pulsar 的访问模式与分层存储
• • Pulsar 分级存储 -- S3 演示
• • Apache Pulsar 分层存储帮你省钱
• • 使用 GCS offloader 卸载存储在 BookKeeper 中的数据
• • 使用 AWS S3 offloader 卸载存储在 BookKeeper 中的数据

事务

• • Apache Pulsar 的事务型事件流
• • 深入解析 Apache Pulsar 中的事务
• • 基于 Pulsar 事务实现 Exactly-Once 语义

负载均衡

• • 详解 Pulsar Broker 负载均衡
• • Pulsar 负载均衡设计

技术探究

• • Pulsar 客户端编码最佳实践
• • 深入解析 Apache Pulsar 客户端消息确认
• • Apache Pulsar 客户端应用程序最佳实践
• • 基于 Apache Pulsar 的分布式锁
• • 深入了解 Pulsar 认证和授权机制
• • 深入理解之 Apache Pulsar Connector 与 Partition 关系篇
• • Pulsar Topic 压缩
• • 优雅的故障处理：快速创建 Pulsar 重试队列
• • 深入研究 Pulsar 中的消息分块
• • 深入解析数据放置策略
• • Pulsar namespace 策略的简单小介绍
• • Pulsar 的消息存储机制和 Bookie 的 GC 机制原理
• • 一文带你看懂 Pulsar 的消息保留和过期策略
• • 多图详解 Apache Pulsar 消息存储模型
• • Pulsar 存储空间不释放的问题分析与解决方法
• • Apache Pulsar 延迟消息投递解析
• • 实现可扩展的流处理：Pulsar Key_Shared 订阅模式
• • Apache Pulsar 轻装上阵：迈向轻 ZooKeeper 时代
• • 详解 Apache Pulsar 2.10 新特性——自动化集群故障转移
• • 使用 Pulsar IO 打造流数据管道
• • 使用 Apache Pulsar 构建边缘应用程序
• • Apache Pulsar 性能调优之架构

案例分享

物联网

• • Apache Pulsar 在能源互联网领域的落地实践
• • Apache Pulsar 在华为云物联网之旅
• • 支撑超万家停车场：科拓停车基于 Pulsar 的消息总线架构演进
• • 助力智慧城市，Pulsar Functions 的边缘物联网场景实践
• • Apache Pulsar 在涂鸦智能的实践

社交媒体

• • 新浪微博从 Kafka 到 Pulsar 的演变
• • Apache Pulsar 在 BIGO 的性能调优实战（上）
• • Apache Pulsar 在 BIGO 的性能调优实战（下）
• • 从 Kafka 到 Pulsar，BIGO 打造实时消息系统之路
• • 借助 Flink 与 Pulsar，BIGO 打造实时消息处理系统

金融证券/交易计费

• • 化繁为简 - 腾讯计费高一致 TDXA 的实践之路
• • Apache Pulsar 在腾讯计费场景下的应用
• • 跨城实践中，腾讯如何应用 Apache Pulsar
• • 甜橙金融如何利用 Apache Pulsar 在日均上亿的交易中抵御金融诈骗
• • Apache Pulsar 在拉卡拉的技术实践
• • 告别传统金融消息架构：Apache Pulsar 在平安证券的实践
• • Apache Pulsar 助力江苏移动重塑 5G 时代计费支撑系统
• • 韩国 AI 金融公司 Qraft 借助 Pulsar 打造超低延迟交易系统

教育

• • 传智教育 x Pulsar：互联网教育的未来

电商

• • Apache Pulsar 在自研数据管道中的技术实践
• • Narvar 为何迁移到 Apache Pulsar
• • Iterable：从 Kafka 到 Pulsar，我们选对了！

互联网

• • 构建下一代万亿级云原生消息架构：Apache Pulsar 在 vivo 的探索与实践
• • 千亿级、大规模：腾讯超大 Apache Pulsar 集群性能调优实践
• • Apache Pulsar 在腾讯云的稳定性优化实践
• • Apache Pulsar 助力金山云日志服务，日处理 200TB 数据
• • 消息队列上云挑战与方案：腾讯云的 Apache Pulsar 实践
• • Apache Pulsar 在移动云上的应用
• • Apache Pulsar 在移动云智能运维平台的实践
• • 在 STICORP 使用 Apache Pulsar 构建数据驱动的应用程序
• • 雅虎日本如何用 Pulsar 构建日均千亿的消息平台
• • Pulsar SQL 在智联搜索日志中的应用
• • Apache Pulsar在智联招聘的实践 -- 从消息队列到基于Apache Pulsar的事件中心
• • 为什么 Nutanix Beam 没选择 Apache Kafka，而选择了 Apache Pulsar？

机器学习

• • Apache Pulsar 在腾讯 Angel PowerFL 联邦学习平台上的实践

周边生态

插件协议

• • KoP 正式开源：在 Apache Pulsar 上支持原生 Kafka 协议
• • Kafka-on-Pulsar 突破性进展：2.8.0 及更高版本的连续偏移量实现
• • 详解 Kafka-on-Pulsar 原理设计与技术进展
• • StreamNative 和中国移动宣布开源 AoP：Apache Pulsar 支持原生 AMQP 协议
• • StreamNative 和腾讯宣Ro布开源 RoP：Apache Pulsar 支持原生 RocketMQ 协议
• • RoP 重磅发布 0.2.0 版本： 架构全新升级，消息准确性达 100%
• • StreamNative 宣布开源 MoP

Function Mesh

• • 周边生态 StreamNative 宣布开源 Function Mesh： 简化云上的复杂流任务
• • Function Mesh：Serverless 在消息与流数据场景下的火花

批流融合

• • 如何使用 Apache Flink 查询 Pulsar 流
• • Pulsar 怎样为批流处理提供融合的存储
• • 如何基于 Pulsar 和 Spark 进行批流一体的弹性数据处理？
• • 在 Spark SQL 和 Spark Structured Streaming 中使用 Pulsar
• • 打造全新批流融合：详解 Apache Flink 1.14.0 发布的 Pulsar Flink Connector
• • 批流融合升级：Apache Flink 1.15.0 发布 Pulsar Flink Sink Connector

连接器

• • StreamNative 联合 Cloudera 开源 Apache Pulsar+Apache NiFi 集成处理器
• • StreamNative 宣布开源 AWS SQS Connector
• • Google Cloud Pub/Sub Connector for Apache Pulsar 宣布开源
• • Google Cloud BigQuery Sink Connector for Apache Pulsar 开源
• • Pulsar Resources Operator for Kubernetes 正式开源
• • StreamNative 开源 Delta Lake Sink Connector for Apache Pulsar

技术探究与实践

• • 如何在 Pulsar 中使用 Debezium Connector
• • 如何使用Apache Pulsar + Hudi 构建 Lakehouse
• • Apache Pulsar 正式引入 Cloud Storage Sink 连接器：实现 Apache Pulsar 数据上云
• • 在 Kotlin 中使用 Apache Pulsar
• • 使用 Apache Pulsar 和 Scala 进行事件流处理
• • OpenMLDB Pulsar Connector：高效打通实时数据到特征工程
• • 基于 Pulsar 的事件驱动铁路网
• • Apache Pulsar 集成 BigQuery 构建数据管道
• • 通过 Apache Pulsar + ScyllaDB 构建实时聊天消息流
• • ScyllaDB + Pulsar：分布式数据库与事件流的结合
• • 整合 Spring 与 Pulsar，在 Java 中构建微服务
• • 构建 IoT 应用——FLiP 技术栈简介
• • Apache InLong 使用 Apache Pulsar 创建数据入库