2019年使用Flink框架搭建流计算平台.pdf

《2019年使用Flink框架搭建流计算平台.pdf》由会员分享，可在线阅读，更多相关《2019年使用Flink框架搭建流计算平台.pdf（79页珍藏版）》请在三个皮匠报告上搜索。

1、如何用Flink实现计算平台议题内容一、Flink 核心编程模型1.海量数据计算发展趋势2.Flink 核心编程模型3.Flink vs Spark vs Beam二、海量数据计算平台的挑战与方案1.流式计算开发运维痛点2.搭建计算平台的常见方案三、深入 Flink核心特性1.哪些功能是Flink的核心特性？2.Flink核心特性的最佳实践3.深入Flink核心特性的原理和代码四、如何用Flink搭建计算平台1.利用Flink搭建计算平台的关键特性2.使用Flink搭建计算平台的核心代码五、开源项目Waterdrop源码分析1.功能分析2.流程控制代码分析3.插件代码分析六、Flink计算平台

2、与业务场景结合1.实时数据仓库2.电商大屏3.广告点击4.业务监控5.内容推荐一、Flink 核心编程模型一、Flink 核心编程模型Unbounded StreamBounded Stream一、Flink 核心编程模型一、Flink 核心编程模型一、Flink 核心编程模型一、Flink 核心编程模型一、Flink 核心编程模型-Submit Job1.https:/ Flink核心特性总结：1.Flink特性：功能强、有状态、低延迟，高吞吐、ExactlyOnce2.Flink 流式计算表现惊艳主要特性：Flink DataStream:有状态的数据处理、状态管理和容错（Flink Ch

3、eckpoint）Flink DataStream:Window,Watermark，异步IO、Flink 流批统一Flink Connector（分别对应 DataStream，Dataset，Table）Flink Table/SQL API，交互式SQL工作流（sql-client）？Pipeline 构建：Flink流关联（Interval Join），纬表Join，多路输出强大的 Flink Metrics+WebUI 体系Flink Runtime任务调度协调三、深入 Flink核心特性-Time,Window,WatermarkFlink 中有3种Time:Event-Time，

4、Processing-Time 以及 Ingestion-Time三、深入 Flink核心特性-Time,Window,WatermarkFlink 中有3种Time:Event-Time，Processing-Time 以及 Ingestion-TimeTODO:TimestampAssigner三、深入 Flink核心特性-Time,Window,Watermark在 Flink 中 Window 可以将无限流切分成有限流，是处理有限流的核心组件三、深入 Flink核心特性-Time,Window,WatermarkWindow 中数据的生命周期：三、深入 Flink核心特性-Time,W

5、indow,Watermarkwindow()指定 WindowAssigner:WindowAssigner 负责将每条输入的数据分发到正确的 window 中(一条数据可能同时分发到多个 Window 中)，Flink 提供了几种通用的 WindowAssigner：Tumbling Window（滚动窗口）Sliding Window（滑动窗口）Session Window（会话窗口）Global Window（全局窗口）Custom Window（自定义窗口，自己定制数据分发策略）三、深入 Flink核心特性-Time,Window,WatermarkTumbling Window三、

6、深入 Flink核心特性-Time,Window,WatermarkSliding Window三、深入 Flink核心特性-Time,Window,WatermarkSession Window三、深入 Flink核心特性-Time,Window,WatermarkGlobal Window三、深入 Flink核心特性-Time,Window,Watermark三、深入 Flink核心特性-Time,Window,Watermark三、深入 Flink核心特性-Time,Window,WatermarkWatermark:watermark 会携带一个单调递增的时间戳 t，watermark