宋辛童-Flink 2.0助力数据湖AI实时化.pdf

1、演讲人：宋辛童阿里云 Flink Java 引擎负责人，Flink PMC&2.0 Release ManagerApache Flink 2.0:助力数据湖 AI 实时化DataFunSummit 2025Flink 2.0 概述01存算分离状态管理02Streaming Lakehouse03AI 实时化探索04目 录CONTENTSDataFunSummit 2025Flink 2.0 概述Apache Flink 发展历程起源于欧洲2009-2016Stratosphere柏林工业大学科研项目2014捐赠 Apache 基金会，更名Apache Flink，成为顶级项目2016.3-发

2、布Flink 1.0发展壮大于中国2016-20192016阿里率先大规模生产应用2018中文社区成立，举办首届Flink Forward Asia峰会2019 阿里收购 Flink 创始公司，企业版本 Blink贡献社区全球事实标准，持续创新2019 至今2020-Flink CDC2022-Apache Paimon2023-Fluss，SIGMOD System Award2025.3-发布Flink 2.0Flink 1.0 解决了什么问题？有状态流计算高性能、低延迟大规模、分布式精确一次状态一致性事件时间语义流式 SQL流批一体实时计算面临的挑战计算资源使用成本成本高昂常驻计算资源随

3、机状态访问计算结果更新快照容错开销时间语义窗口处理反压调优快照管理研发运维Flink 2.0 致力于解决什么问题？让实时计算普适、普惠，助力更多场景、业务实时化云原生数据湖AI提高资源效率弹性伸缩流批一致开发体验开箱易用自适应调优拓宽场景降低成本存算分离状态管理分布式有状态流处理有状态计算存算一体状态管理以本地状态为GroundTruth远程快照存储OPStateInputOutputRead/Write(Input,State)-(Output,State)分布式快照TMDFSOSS/HDFS/S3TMTM云原生场景下的挑战TMDFSOSS/HDFS/S3TMTM存算一体架构云原生新需求计算

4、和存储解绑容器化资源使用海量低价云存储带状态的快速扩缩容计算和存储独立扩缩容资源使用均匀平缓本地盘不再是高性能的强需求秒级状态重新分配存算分离的状态管理-ForStTMDFSOSS/HDFS/S3TMTM存算一体架构以本地状态为GroundTruth远程快照存储TMTMTMForSt State BackendDFSOSS/HDFS/S3存算分离架构以远程状态为GroundTruth本地CacheTMTMTMForSt State BackendDFSOSS/HDFS/S3存算分离架构存算分离的状态管理-ForSt原生支持 DFS状态存储解绑本地盘即时扩缩容&容错恢复轻量快照平缓稳定的资源使用

5、性能Nexmark状态：1.24.8 GBCache：1GB分层 CacheGrouping I/O异步状态访问算子适配轻量快照即时扩缩容吞吐75%-120%Streaming LakehouseLambda 架构ODSDWDDWSData SourcesADS开发效率低口径难一致技术栈复杂存储成本高Streaming LakehouseODSDWDDWSData SourcesADS 开发效率改善口径统一简化技术栈存储成本低什么是真正的流批一体？一份代码一套引擎一份数据同时满足实时、离线数据需求Materialized TableCREATE MATERIALIZED TABLE dwd_o

6、rders(PRIMARY KEY(ds,id)NOT ENFORCED)PARTITIONED BY(ds)FRESHNESS=INTERVAL 3 MINUTEASSELECT*FROM orders AS o JOIN products AS prod ON o.product_id=prod.id;创建 Paimon 表指定数据新鲜度自动选择流、批模式任意 Query一套代码，简化开发Materialized Table一键修改新鲜度自动切换流、批模式一键触发数据回刷自动选择流、批模式ALTER MATERIALIZED TABLE dwd_or