张亮-万亿级消息队列Kafka在滴滴的实践_compressed.pdf

1、万亿级消息队列Kafka在滴滴的实践 张亮 2020-11-01 建设背景 目录 建设实践 总结规划 建设背景 1 RDS Log File App Behave Log User Report 数据生产 Omega Server canalLog agent User Application 数据采集 DiDi-Kakfa-2.5-900 数据队列 数据消费 User Application Stream SQL Flink Native App 数据应用 离线数仓ODS 实时数仓ODS实时监控/报表 OLAP分析 线上业务 ? ?峰值生产 2 亿/S 集群流量 60GB/S 2W+ Top

2、ic 20+ Cluster? ? 单集群250 Broker 100W+Producer 最大采500MB/S 1.2W+Consumer 最大消费500MB/S 日增消息量2PB 应用现状 建设背景 业务诉求服务痛点引擎挑战 Kafka运维友好性性与可观察 性不足 社区Kafka-Manager能力缺 失，用户答疑，日常运维消耗 大量精力 磁盘IO热点导致的集群生产消费雪崩 Topic资源隔离差，流量突增、回溯 消费，影响集群稳定性 日常运维操作对业务不透明， 分钟级的生产、消费抖动不能 忍 Topic生产、消费安全无管控、 集群迁移对业务不透明 建设实践 2 建设实践 高可用建设平台建设

3、技术创新 引擎可观察性 Kafka-Manager 磁盘过载保护 资源弹性调度 部署资源隔离 Kafka-GateWay 引擎迭代 高可用建设-部署资源隔离 Broker-Controller Broker-Controller Broker-Controller Broker-Consumer Coordinator Broker-Consumer Coordinator Broker-Consumer Coordinator Broker-Region1 Broker-Region1 n Broker-Region1 1 Broker-Region X Broker-Region X n Broker-Region X 1 Kafka-GateWay Kafka-GateWay Kafka-GateWay Broker-Controller Broker-Controller Brok