1-董亭亭-快手基于Apache  Flink的持续优化实践-TSY.pdf

1、快手基于Flink的持续优化与实践 董亭亭 / 快手实时计算负责人 Flink 任务启动优化 #2 Flink 稳定性持续优化 #1 Flink SQL实践与优化 #3 未来工作 #4 Future Work Practice and optimization of Flink SQLStartup optimization of Flink jobOptimization of Flink job stability Flink稳定性持续优化 #1 Optimization of Flink job stability Flink Kafka Connector高可用 Connector支持

2、双机房读 Connector支持双机房写 Sink容忍一定比例数据丢失 一键丢弃历史lag Flink任务故障恢复 宕机故障快速发现 故障恢复加速 Flink稳定性持续优化 #2#1 Flink Kafka Source高可用 IDC1IDC2 Topic1 Topic1 Source1Source1 Map Sink Flink Job 生产者 Union 自动分流 kafka 双集群高可用 双集群Topic共同承担全部流量 单集群故障，上游自动切流 Flink任务不具备kafka双集群高可用 两个Source union方式消费 Source分别感知上游topic故障 单集群故障，手动将故

3、障Source摘除 背景 IDC1IDC2 Topic1Topic1 Cluster Source Map Sink Flink Job 生产者 自动分流 Flink Kafka Cluster Source 支持读取双集群topic 可以容忍单集群故障 集群故障恢复时自动加入 Flink Kafka Source双集群高可用 Flink Kafka Source高可用 IDC1IDC2 Topic1Topic1 Source Map Sink1 Flink Job Sink1 双集群topic Flink写双集群kafka topic 定义不同集群Sink 逻辑内控制拆流，灵活性差 不能容忍单机房故障 单集群故障，手动摘除对应Sink 背景 Flink Kafka Sink高可用 IDC1IDC2 Topic1Topic1 Source Map Flink Job Cluster Sin