5-叶炜晨 - 爱奇艺实时大数据生态体系的演进 - LYS_compressed.pdf

1、爱奇艺实时大数据体系的演进 The Evolution of Real-time Bigdata System in IQIYI 叶炜晨 爱奇艺 实时数仓 Realtime Data Warehouse #2 发展背景 Background #1 流数据服务 Stream Data Service #3 实时数据平台 Stream Processing Platform #4 实时大数据应用 Realtime Application #5 未来规划 Future Work #6 发展背景 Background #1 数仓模型 流数据服务数据处理平台 离线数仓 近实时数仓 实时数仓 数据采集实时

2、应用 大数据的来源 User devices Servers DB User-activity Tracking Service log 用户数据收集处理 2016-2017年 通过Flume+grep/awk脚本方式实时采集和清洗过滤 基于两级Kafka的实时ETL 2018-2019年 设置两级Kafka, 通过Flink进行实时ETL解析，清洗和拆分过滤 第一级 Kafka： 实时数据总线，一般是原始 Nginx / Java 日志流 Realtime data bus, the original Nginx / Java log Flink ETL 层： 承担实时 ETL 解析，输出

3、JSON 形态结构化数据（流式表） Real-time ETL, producing structured data in JSON format (stream table) 拉取远程配置，对输出数据进行过滤、清洗、拆分 Filtering, cleaning and splitting data based on the configuration center 第二级 Kafka： 可供业务直接使用的结构化数据流，可直接对接 Flink SQL, Spark SQL，Druid 等等 The structured data stream that can be directly used by Flink SQL, Spark SQL, Druid, etc 两级Kafka生产线模式的主要问题 实时数据重复生产，各业务烟囱式开发 Processing redundant data 数