任庆盛、蒋晓峰-Flink Connector 社区新动向与 Hybrid Source 原理实践.pdf

1、任庆盛/蒋晓峰Flink Connector Flink Connector 社区新动向与社区新动向与 Hybrid Source Hybrid Source 原理实践原理实践New Trends in Flink Connector and Principles&Practice of Hybrid Source Source API新特性Sink API新特性ConnectorTesting Framework发布与贡献ConnectorHybrid Source#1#2#3#4#5#1#1Source API Source API 新特性新特性Source API测试 Testing开发

2、 Developing发布 PublishingSplit EnumeratorJob ManagerSource ReaderTask ManagerSource ReaderTask ManagerSource ReaderTask ManagerSplit分片（Split）外部系统中的一个分区分片枚举器（Split Enumerator）发现与分配分片，Source 的控制中心Source 读取器（Source Reader）读取数据，Source 的工作者线程模型与容错机制在 SourceReaderBase 中提供了基本抽象Source API 新特性测试 Testing开发 Dev

3、eloping发布 Publishing Flink 1.14 标记为 Public 使用新 API 开发新的 Source 尽快将旧 Source 迁移至新 API 添加了 FLIP-33 中定义的大部分指标 对延迟、数据量、水印进度的监控 正确汇报事件时间和水印 水印对齐 Watermark Alignment FLIP-182，正在讨论中 有助于减少下游算子的状态大小 混合数据源 Hybrid Source 在不同数据源间无缝切换 衔接历史数据与线上数据#1#2#3#4#2 2Sink API Sink API 新特性新特性Sink API测试 Testing开发 Developing发

4、布 PublishingSink WriterSink CommitterCommittableGlobal Committer可提交数据（Committable）需要在 Checkpoint 时 commit 的信息Sink 写入器（Sink Writer）将数据写出至外部系统生成 CommittableSink 提交器（Sink Committer）将 Committable 提交至外部系统全局提交器（Global Committer）并行度为 1收集 Committable 进行全局提交Sink API 的新特性测试 Testing开发 Developing发布 Publishing F

5、LIP-171 AsyncSink 为具有异步功能 Client 的外部系统提供更易于实现的接口 Buffering 模式，在 Buffer 满足条件时（大小、超时）异步提交 仅支持 At-least once FLIP-191 小文件合并 针对列存格式、Hive、Iceberg 等 Sink 的优化 单独的 Aggregator 算子/Sink Coordinator/自定义拓扑#1#2SourceFunction/SinkFunction测试 Testing开发 Developing发布 Publishing在 Flink 1.0 前引入只针对于流模式功能限制复杂的线程模型复杂的分片发现、

6、分配，数据的序列化，状态管理与 Checkpoint 的联动（Checkpoint Lock）实现精确一次（Exactly-once）的语义即将被标注为 Deprecated，不再提供支持Deprecatedpublic interface SourceFunctionDeprecatedpublic interface SinkFunction请尽快迁移至新 API！#3 3Connector Testing FrameworkConnector Testing FrameworkConnector Testing Framework测试 Testing开发 Developing发布 Pub