当前位置:首页 > 报告详情

Apache Pulsar 社区-翟佳-Flink 和 Pulsar 的批流融合.pdf

上传人: B**** 编号:28671 2021-01-31 39页 4.54MB

word格式文档无特别注明外均可编辑修改,预览文件经过压缩,下载原文更清晰!
三个皮匠报告文库所有资源均是客户上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作商用。
Apache Pulsar 是一个开源项目,它是一个云原生的消息平台,具有存储计算分离、节点对等、独立扩容等特点。Pulsar 的数据视图主要分为 Topic、Partition 和 Segment。Topic 用于发布和订阅消息,Partition 用于分区,而 Segment 则是存储单元。Pulsar 使用 BookKeeper 作为存储引擎,提供了低延迟、高吞吐、持久化、强一致性和高可用性。Pulsar 适用于多种应用场景,如计费平台、支付平台、交易系统、工作队列、推送通知、任务队列、统一消息传输、物联网和统一数据处理等。Pulsar 与 Flink 结合实现了批流融合,提供了统一的批流处理模型和 API,可以处理大规模的历史数据和低延迟的实时数据。Pulsar-Flink Connector 是 Pulsar 和 Flink 的连接器,它支持多种 Schema,并提供了一系列的接口。Pulsar-Flink 还实现了自动选择读策略,根据 Segment 是否完成和是否在写入来选择使用 Segment Reader 或 Stream Reader。Pulsar-Flink 还支持 End-to-End Exactly-once 事务、二级存储和 State 存储。
"Apache Pulsar 是什么?" "Pulsar 的数据视图有哪些特点?" "Flink Pulsar 的批流融合是如何实现的?"
客服
商务合作
小程序
服务号
折叠