2-付海涛-Apache Flink在京东的实践与优化-TSY.pdf

《2-付海涛-Apache Flink在京东的实践与优化-TSY.pdf》由会员分享，可在线阅读，更多相关《2-付海涛-Apache Flink在京东的实践与优化-TSY.pdf（24页珍藏版）》请在三个皮匠报告上搜索。

1、Apache Apache FlinkFlink在京东的实践与优化在京东的实践与优化 付海涛 Haitao Fu The Practice and Optimization of Apache Flink in JD 高级技术专家 Senior Technical Specialist 京东零售数据算法通道委员会 JDR Data Algorithm Channel Committee 容器化实践 The Practice of Flink on Kubernetes #2 业务演进和规 模 The Evolution of Application and Scale #1 Flink优化改进

2、 Flink Optimizations #3 未来规划 Future plan #4 业务演进和规模 The Evolution of Application and Scale #1 发展历程 The Evolution of Real-time Computing in JD 2014 第一代流式处理 First generation of stream processing 2017 + 201820192020 全新SQL平台 全部容器化 Flink1.8 Flink1.9 Containerization + SQL 新一代流式处理 开始容器化 Flink1.4 Flink1.5

3、new-generation of stream processing 全新实时计算平台 统一引擎、智能诊断 Flink1.10 Unified stream engine & Smart diagnosis +SQL 微批处理 Micro-batch processing 业务场景 Application Scenarios 实时数仓 Data Warehouse 实时大屏 Big Screen 实时报表 Data Analytics 实时监控 Monitor 实时推荐 Recommendation 实时风控 Risk Control 业务规模 Application Scale 5000+70+3000+5亿/秒 集群规模 k8s cluster 服务一级部门 supported departments 流计算任务数 streaming jobs 处理峰值 processing pea