翟佳-云原生消息流平台 Apache Pulsar 架构设计与原理（GOTC深圳会场）（42页）.pdf

1、综合技术论坛专场翟佳StreamNative,2021 年 8 1 本期议题：Apache Pulsar-云原的分布式统消息平台我介绍开源项爱好者：Apache Pulsar PMC成员Apache BookKeeper PMC成员EMC-StreamNative华中科-中科院计算所 架构：Pulsar 的坚实基础 Apache Pulsar 简介 Pulsar 的态和社区Apache Pulsar 简介Apache Pulsar 是什么Apache Pulsar 要解决的问题企业需求和数据规模集群/多租户-百万Topics-低延时-持久化-跨地域复制解除存储计算耦合运维痛点：替换机器、服务扩

2、容、数据 rebalance减少件系统依赖性能难保障：持久化（fsync）、致性（ack:all）、多TopicIO不隔离：消费者读Backlog的时候会影响其他产者和消费者 架构：Pulsar 的坚实基础 Apache Pulsar 简介 Pulsar 的态和社区 架构：Pulsar 的坚实基础 Apache Pulsar 简介 Pulsar 的云原架构 企业级流存储：BookKeeper 基础之上Pulsar：云原的架构 分层+分 存储和计算分离节点对等独扩展灵活扩容快速容错瞬时存储扩容应感知数据均匀分布re-balancePulsar：云原的架构优势 https:/jack- 架构：Pu

3、lsar 的坚实基础 Apache Pulsar 简介 Pulsar 的云原架构 企业级流存储：BookKeeper 基础之上Apache BookKeeper：企业级流存储层分布式志/流存储低延时、吞吐、持久化强致可I/O隔离Apache BookKeeper：诞场景企业级流存储层（BK）：节点对等的架构openLedger(组内节点数,数据备份数,等待刷盘节点数）openLedger(5,3,2)企业级流存储层（BK）：读写可性（容错）企业级流存储层：稳定的 IO 质量性能、强致性、读写隔离、灵活SLA 架构：Pulsar 的坚实基础 Apache Pulsar 简介 Pulsar 的云原

4、架构 企业级流存储：BookKeeper 基础之上基础 上层基础之上：企业级特性：集群、多租户基础之上：BookKeeper 对关键数据的存储ProducerTopic1 2 3 4 5 6 7Subscription2Consumer1 2 3 4 5 6 7readEntriesAck/N-AckBrokerBookKeeper1 2 3 4 5 6 7Ledger stores DataA B C D ELedger stores Cursor changesCursorSubscription1Write AckManagedLedger+-/+基础之上：统消费模型基础之上：统的消息存

5、储Apache PulsarPulsar Protocol HandlerPulsar Clients(queue+stream)Kafka Protocol HandlerAMQP Protocol HandlerMQTT Protocol HandlerKafka ClientsAMQP ClientsMQTT ClientsRocketMQ Protocol HandlerRocketMQ Clientshttps:/ Segmented StreamSegment0Segment1Segment2Segment3ProducerConsumerTimeSegment 5Segment4

6、Segment ReadersSegmentedStream基础决定上层：Cloud-NativeStateless BrokerScale(Broker+Bookie-Storage)https:/ 架构：Pulsar 的坚实基础 Apache Pulsar 简介 Pulsar 的态和社区Pulsar 和周边态Pulsar 简介：社区性能+强致性云原架构：存储计算分离分层+分 持统的 Queue 和 Stream 的接。丰富的企业级特性多租户隔离 百万Topics 跨地域复制 鉴权认证30 committers,400+contributors,2.1