王峰-Flink Next：超越流处理.pdf

1、Flink Next:Beyond Stream Processing王峰（莫问）阿里巴巴开源大数据平台负责人2021:Apache Flink 社区持续繁荣本数据来源 Apache 基金会 2021 财年报告：https:/www.apache.org/foundation/docs/FY2021AnnualReport.pdfApache Flink 年度发布总结Flink 在2021年发布了两个大版本198417601087104820822105001000150020002500commitsissuescontributors完整的流批一体 API(SQL/Table/DataSt

2、ream)流批混合运行，数据源自动切换（Hive/Kafka）细粒度资源管理提升资源效率和系统稳定性自适应网络流控加速全局一致性快照执行 云原生部署模式，自动弹性扩缩容 提升易用性，WebUI 更方便诊断和调优 统一 Savepoint 格式，不同 Statebackend 切换 Hive SQL 语法兼容，包括 DDL/DML/DQLAapcheAapche软件基金会2021 2021 财年报告Top1:邮件列表活跃度Top2:GitHub 上的访问量Top2:代码仓库中的代码提交次数02004006008001000120014001600Dec-10Jun-11Dec-11Jun-12D

3、ec-12Jun-13Dec-13Jun-14Dec-14Jun-15Dec-15Jun-16Dec-16Jun-17Dec-17Jun-18Dec-18Jun-19Dec-19Jun-20Dec-20Jun-21Flink 贡献者年度 20%+增长100+公司参与 Apache Flink 代码贡献Apache Flink 中文社区持续火热Apache Flink 视频号重磅推出050001000015000200002500030000350004000045000500002019年5月2019年7月2019年9月2019年11月2020年1月2020年3月2020年5月2020年7月2

4、020年9月2020年11月2021年1月2021年3月2021年5月2021年7月2021年9月2021年11月Apache Flink 公众号订阅数近一年增长率维持在60%+Flink 中文学习网站https:/flink- Meetup2021年在北上深举办4场meetupAp a c h eF l i n k核心技术演进物理计划JMTMStandaloneStatic手动拉起静态决定刚性资源需求静态预留资源逻辑计划JMTMKubernetesActiveJM 申请Yarn静态决定刚性资源需求动态按需申请资源逻辑计划物理计划逻辑计划JMTMKubernetesAdaptiveK8s拉起物

5、理计划?弹性资源需求云原生弹性资源管理弹性适配云原生部署架构演进全局一致性快照过程Durable Bulk StoreCheckpoint Coordinator第第1 1步：插入步：插入checkpoint BarrierDurable Bulk StoreCheckpoint Coordinator第第4 4步：步：Checkpoint CompleteDurable Bulk StoreCheckpoint Coordinator第第 2 2 步：步：多输入 Barrier 对齐Durable Bulk StoreCheckpoint Coordinator第第3 3步：步：Snapsh

6、ot+Upload数据一致性保证系统容错基础全局一致性快照提速提升端到端时效性缩短事务周期提升故障恢复体验减少数据回放自适应网络流控机制，加速 Barrier 对齐Dynamically adjust buffer size by ThroughputsFixed buffer sizeStatic Buffer SizeDynamic Buffer SizeAvailable Number of BuffersAvailable Number of Buffers&SizeBarrier 对齐速度受网络缓冲区数据量约束Snapshot=State Files1.时间受 State 大小约束2