9-刘力云 - 贝壳的实时计算演进之路 - MG_compressed.pdf

1、贝壳的实时计算演进之路 刘力云 贝壳找房 平台建设 #2 发展历程 #1 实时数仓 #3 事件驱动 #4 未来规划 #5 发展历程#1 2018.3 Hermes实时计算平台 基于Spark Streaming 2018.10 SQL 1.0 基于Spark Structured Streaming 2019.5 转向Flink 支持Flink任务 2019.8 SQL 2.0 基于Flink 1.8 2019.11 实时数仓 基于SQL 2.0 2020.3 Pandora事件处理平台 Flink CEP 2020.10 SQL 3.0 基于Flink 1.11 支持的部门 搜索 Searc

2、h Engine 策略 Strategy 房源 House Resources 交易 Deal 租赁 Housing Lease 商业化 Commercializati on 新房 New House 司南 Compass 埋点 User Access Logs 新网销 New Internet Sales 经纪人 平台 Agent Platform 风控 Risk Control 数据 中台 Middle- Ground Data Platform 新装修 Decoration 应用规模 30+ 支持的项目 Supported Projects 250 Billions 每日处理消息条数 P

3、rocessed messages per day 800 任务数 Streaming Jobs 200+ Millions 单任务峰值吞吐量 Max throughput per job 平台任务增长 平台建设#2 平台概览 自定义任务 User Developed Jobs 模板任务 Template Jobs 场景任务 SQL Jobs 多种任务类型 Job Types Java Scala Python 多种开发语言 Programming Languages 编辑、发布 Edit、Deploy 启停 Start/Stop 版本管理 Version Management 监控报警 Monitoring 任务托管 Job Management 专有队列 Private Resource Queue 公共队列 Public Resource Queue 资源隔离 Resource Is