云原生消息流系统 Apache Pulsar 在腾讯云的大规模生产实践-冉小龙.pdf

1、Apache Pulsar Apache Pulsar 在腾讯云的稳定性优化实践在腾讯云的稳定性优化实践冉小龙腾讯云中间件高级工程师关于我 目前任职腾讯云中间件团队，曾工作于 Apache Pulsar 开源商业团队 StreamNative Apache Pulsar Committer RocketMQ-on-Pulsar（RoP）维护者 Apache Pulsar Go client 与 Pulsar Go Functions 作者演讲提纲Apache Pulsar 介绍Apache Pulsar 在腾讯云的稳定性实践Apache Pulsar 未来稳定性规划消息空洞的影响及规避措施从消

2、息生命周期看 TTL,Backlog 及 Retention 策略Admin API Block 的优化处理ZK-Node 泄漏Bookie Ledger 泄漏Apache Pulsar 架构与社区消息和流系统发展回顾计算存储分离节点对等分层分片服务高可用扩展运维便捷Apache Pulsar：存算分离、云原生架构企业需求和数据规模企业需求和数据规模大集群/多租户百万 Topic低延时持久化跨地域复制Apache Pulsar 整体概览解除存储计算耦合解除存储计算耦合运维痛点替换机器服务扩/缩容数据 rebalanceApache Pulsar：社区快速成长全球贡献者 600+月度活跃贡献者超

3、过 Kafka全球用户快速成长Apache Pulsar 在腾讯云的稳定性实践 单条消息 Ack(在线消息)-Ack Hole 如何理解 individuallyDeletedMessages？Broker 处理失败？Client 没有调用 Ack？精确计算 Backlog Size？Broker 主动补偿？稳定性实践 1：消息空洞的影响及规避措施 Producer Exception Producer Request Hold Consumer Backlog EvictionBroker 主动补偿机制：Backlog 策略Broker 主动补偿机制|Pulsar 计算 Backlog Si

4、ze 的方式Broker 主动补偿机制 获取 individuallyDeletedMessages 集合的第一个元素 启动定时任务 Excutor Service 定期向 Client 推送 individuallyDeletedMessages稳定性实践 2：再谈 TTL,Backlog 及 Retention 策略TTL:表示消息在指定时间内没有被用户 Ack 时会在 Broker 主动 Ack 掉。Backlog：表示 Producer 发送的消息与 Consumer 接收消息之间的差距。Retention：表示的是当消息被 Ack 之后，继续在 Bookie 侧保留多久的时间，以 L

5、edger为最小操作单元。TTLTTL:根据设置的时间，定期检查，不断更新 cursor 的位置（见右图），将消息过期掉RetentionRetention：检查 Ledgers 的创建时间以及 Entry 的大小来决定是否要删除某一个 Ledger 稳定性实践 2：再谈 TTL,Backlog 及 Retention 策略TTLTTL Retention:=Retention:TTL=Retention:消息的生命周期：TTL TimeTTL TTL 策略策略为什么要选择为什么要选择 Ledger Ledger 发生切换的发生切换的这个时机来触发这个时机来触发 Ledger Ledger 的

6、删除操作？的删除操作？稳定性实践 2：再谈 TTL,Backlog 及 Retention 策略稳定性实践 3：Admin API Block 的优化处理异步调用同步Http Lookup ServicePulsar WEB 服务性能较差（CompletableFuture 的误用）Metadata Store 线程池的抽象加入超时的处理避免 block稳定性实践 4：zk-node 泄漏问题：正在使用的 Topic 不多，但 zk-node 数量却很大，Pulsar 对 z