5-翟佳 - Flink 和 Pulsar 的批流融合 - ZX的副本_compressed.pdf

1、Flink 和 Pulsar 的批流融合 翟佳 StreamNative Pulsar 的 数据视图 #2 Apache Pulsar 是什么 #1 Pulsar-Flink 的批流融合 #3 Apache Pulsar 是什么#1 Apache Pulsar 简介 Apache Pulsar 简介 架构 1、存储计算分离 2、节点对等 3、独立扩容 4、逻辑分区、物理分片 云原生架构 Apache Pulsar 简介 存储 BookKeeper 分布式日志WriteAheadLog 低延迟、高吞吐、持久化 强一致性 高可用 读写隔离 Apache Pulsar 简介 应用场景 1、计费平台、

2、支付平台、交易系统 2、Worker Queue / Push Notifications / Task Queue 3、Unified Messaging Backbone (Queuing + Streaming) 4、IoT 5、Unified Data Processing Apache Pulsar 简介 应用场景 http:/pulsar.apache.org/en/powered-by/ Apache Pulsar 简介 应用场景 1、计费平台、支付平台、交易系统 2、Worker Queue / Push Notifications / Task Queue 3、Unified

3、 Messaging Backbone (Queuing + Streaming) 4、IoT 5、Unified Data Processing Flink Pulsar 的 数据视图#2 Topic Pub/Sub Topic Producers Consumers Time Topic Partition 分区 P0 P1 P2 P3 Producers Consumer Time Partition Segment 分片 Segment 1Segment 2Segment 3Segment 4 Segment 1Segment 2Segment 3 Segment 1Segment 2Segment 3 Segment 1Segment 2Segment 3 P0 P1 P2 P3 Producers Consumers Time Partition Segment 分片 Segm