6-李本超-Flink SQL 在字节跳动的优化 & 实践-LYS.pdf

《6-李本超-Flink SQL 在字节跳动的优化 & 实践-LYS.pdf》由会员分享，可在线阅读，更多相关《6-李本超-Flink SQL 在字节跳动的优化 & 实践-LYS.pdf（38页珍藏版）》请在三个皮匠报告上搜索。

1、Flink SQL 在字节跳动的优化 & 实践 李本超 字节跳动架构研发工程师 Apache Flink Committer Optimization and Practice of Flink SQL at ByteDance # #1 1 整体介绍 Overview # #2 2 实践优化 Practice & Optimization # #3 3 流批一体 Unification of Streaming and Batch # #4 4 未来规划 Future Work 整体介绍 #1 Overview Flink SQL 在字节跳动的发展历程 2018.12 Blink 开源 20

2、19.07 开始基于 1.9 分支构 建内部的 SQL 平台 2019.10 基于 1.9 Blink Planner 的 SQL 平台上线 2020.10 上线基于 1.11 Batch SQL 平台 2020.11 上线基于 1.11 Streaming SQL 平台 2020.06 贡献一名 Flink Committer Now 2800+ Streaming SQL Job 批流一体落地 History of Flink SQL at ByteDance 基于 1.9 的 Flink SQL 扩展 Extension of Flink SQL based on 1.9 1、Creat

3、e Table 2、Create View 3、Create Function 4、Add Resource 扩展 DDL 1、计算列 2、watermark 声明 3、自定义 watermark Watermark 1、Source RocketMQ 2、维表 Redis/Abase/Bytable/ByteSQL/RPC/FaaS 3、Sink RocketMQ/ClickHouse/Doris/LogHouse Redis/Abase/Bytable/ByteSQL/RPC Print/Metrics 4、Formats PB/Binlog/Bytes 丰富 Connectors The Extension of DDL More Connectors and Formats SQL平台 SQL 编辑 SQL 解析 SQL 调试 自定义 UDF/Connector 版本管理 任务管理