4-冯海涛-Flink在58同城应用与实践-TY.pdf

《4-冯海涛-Flink在58同城应用与实践-TY.pdf》由会员分享，可在线阅读，更多相关《4-冯海涛-Flink在58同城应用与实践-TY.pdf（36页珍藏版）》请在三个皮匠报告上搜索。

1、Flink在58同城应用与实践 58同城 冯海涛 实时计算平台架构 实时SQL建设 Storm 迁移 Flink实践 一站式实时计算平台 后续规划 目录 实时计算平台架构01 平台定位 为58集团海量数据提供高效、稳定实时计算 一站式服务 实时数据存储 实时数据计算 实时数据分发 Kafka Storm/Spark Streaming Flink 基础能力建设 DDS数据分发（Kafka Connect） Wstream一站式实时计算平台 平台化建设 定位平台 实时架构 实时业务场景和诉求 业务诉求： 1.高吞吐/低延迟的计算能力； 2.灵活窗口支持； 3.数据乱序； 4.Exactly on

2、ce语义保障； 5.中间状态管理 场景： 业务： 实时ETL 实时数仓 实时监控 实时数据流分析 Flink集群 高可用架构 任务隔离 业务 业务 招聘 商业 金融 . 计算型 IO型 场景 集群规模 900+ 机器数 2000+ 实时任务 数 2.5万亿 日实时计 算数据 3000万 每秒峰值 Flink On YARN HDFS Fedration Cgrou p Node Label 实时SQL建设02 实时SQL演进 Flink上线DDL扩展支持实时SQL平台化合并Blink社区最新版数仓化 DMLDDL定义 维表join 实时存储扩展 配置化 可视化开发 在线调试 . Mini Ba

3、tch Emit 数据倾斜 TopN . 批流合一 Flink Hive 元数据管理 血缘关系 数仓分层 存储扩展 实现功能 支持DDL语法 维表join 打通主流存储和公司内部实时存储 定制format支持 支持并发度设置 wmb kafka 源表 mysqlhbaseredis wrediswtable kafka mysql hbase wtable ck redis Stream sql 性能优化 MiniBatch Local-Global聚合 Emit功能 异步IO机制 异步client 多线程 缓存LRU 缓存条数 过期时间 单并发度多线程写入 Sink算子buffer Consumer 1 Stream Consumer 2 Consumer N sink Blink特性 数仓化建设 目标： 提供面向数仓化实时Sql能力，在数仓设计，任务开发， 平台化管理全面对齐离线数仓的