当前位置:首页 > 报告详情

5-翟佳 - Flink 和 Pulsar 的批流融合 - ZX的副本_compressed.pdf

上传人: li 编号:29313 2021-02-07 39页 1.56MB

word格式文档无特别注明外均可编辑修改,预览文件经过压缩,下载原文更清晰!
三个皮匠报告文库所有资源均是客户上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作商用。
本文主要介绍了Apache Pulsar和Flink的批流融合技术。Apache Pulsar是一种云原生架构的消息平台,具有存储计算分离、节点对等、独立扩容、逻辑分区、物理分片等特点。Pulsar的存储使用BookKeeper,是一种为流而设计的存储引擎,以Segment为基础的批流统一的存储抽象,提供两层的读接口:存储层的Segment读和层的服务器的Consumer读。Flink则是一种统一的计算模型和API,用于高效批流处理。Pulsar-Flink Connector实现了Pulsar和Flink的集成,提供了Primitive Schema和Avro Schema,以及Pulsar Source、Pulsar Sink、Streaming Tables等功能。近期,Pulsar-Flink Connector还实现了End-to-End Exactly-once事务支持,以及Segment Reader读取Parquet的二级存储等功能。
Flink 与 Pulsar 如何实现批流融合? Apache Pulsar 架构有哪些创新特点? 如何利用 Pulsar-Flink Connector 实现高效批流处理?
客服
商务合作
小程序
服务号
折叠