爱奇艺-梁建煌-爱奇艺大数据平台四化建设之路.pdf

1、爱奇艺大数据平台“四化”建设之路梁建煌梁建煌爱奇艺大数据总监“2012 年硕士毕业于上海交通大学2013 年开始负责爱奇艺大数据服务体系的建设工作，从 0 到 1 搭建起爱奇艺大数据存储、计算、OLAP 数据分析、机器学习以及多个自研大数据平台等整套大数据体系”讲师简介 爱奇艺大数据现状和挑战 爱奇艺大数据平台建设实践 未来规划目录爱奇艺大数据应用场景Make data-driven decisions报表、内容运营、会员运营剧集热度Build data-powered products搜索、推荐、广告用户增长、收入预估看过去知未来爱奇艺大数据体系基础架构数据采集存储计算数据分析引擎数据平台数

2、据开发数据分析数据服务数据仓库数据指标数据应用报表运营搜推广大数据面临的挑战与需求实时性要求智能化需求开发门槛高数据治理数据规模增大，IDC 瓶颈数据质量差、数据源分散、安全权限混乱、缺乏生命周期海量数据、低延迟大数据生态服务多，学习门槛高数据智能应用规模瓶颈规模化规模化实时化体系化智能化体系化爱奇艺大数据“四化”建设实时化数据湖高性能 OLAP缓存加速体系化数据总线流批一体统一入口数据治理智能化Data for AIAI for data规模化混合云分层存储分级计算规模化混合云分层存储分级计算爱奇艺大数据平台规模20+服务1.5+万台服务器600+PB数据存储百万核计算能力如何应对规模化挑战

3、？机房瓶颈、集群瓶颈数据规模、存储成本计算规模、计算成本混合云IaaS分层存储分级计算挑战方案爱奇艺混合云 IaaSiQiyi Bigdata File System统一大数据存储-QBFS 大数据文件系统实时同步iQiyi Bigdata Computing Scheduler统一计算调度-QBCS实时弹性阶段 2：跨AZ统一 同城双活：两个大集群 存算分离 统一元数据、跨AZ统一调度私有云HDFS公有云对象存储私有云YARN+K8S公有云K8S阶段 3：私有云-混合云 部分存储、计算弹性到公有云 跨AZ统一调度-多云调度（建设中）阶段 1：分集群 7个大集群，各自独立，元数据割裂 数据依赖

4、靠离线跨集群同步 数据冗余、等待时间长、使用不便分层存储缓存温冷热公有云对象存储成本降 65%成本降 11%智能分层存储提速 25 倍节省计算资源数据生命周期 1.0冷热公有云对象存储HDFS(3备份）HDFS(3备份）HDFS+EC 编码(1.5备份 )冷热两级模型（粗放型）人工配置 TTL四级模型（精细化治理）根据数据热度应用不同存储策略综合成本降 38%混合云存储温存储上云（弹性伸缩）增加资源灵活度缓存温冷热公有云对象存储HDFS(3备份）公有云对象存储（评估中)分级计算白天低谷、凌晨高峰物理机，无法弹性潮汐计算离在线混部：YARN+K8S，超分+全天候实时弹性，每年节省数千万元成本OL

5、AP on K8S：支持重要活动期间临时扩容弹性计算根据计算任务特性调度到独占、抢占、混部等不同的计算介质分级计算弹性伸缩多云统一调度混合云计算实时化数据湖高性能 OLAP缓存加速数据量增长的同时，满足“快”的实时化需求快数据使用数据生产加速数据流通，数据端到端实时、新鲜实时热度、实时分发、实时运营数据查询低延迟，取数快助力分析师快速查询，供决策者及时决策时间就是金钱数据生产加速：数据湖+流批一体实时计算平台HDFS离线数据开发平台流数据服务平台(Kafka)实时离线实时数仓(OLAP)离线数仓(Hive)近实时数仓(数据湖)Pingback投递近实时小时级天级延迟成本低PB级容量分钟级延迟成

6、本高TB级容量，只存放近期数据分钟级延迟性价比高PB级容量，可以存放较久数据报表核心指标运营：广告、会员实时监控：直播大盘Ad hoc查询分析new优缺点适用场景流式数仓(Kafka)秒级延迟成本高只存放最近几个小时数据实时广告实时推荐实时热度业务案例：广告算法链路加速原通路：存储冗余，成本高（独立集群）扩展性差，查询服务瓶颈运维复杂：Kudu+Impala延迟高：Spark流任务新通路：流批一体，成本低（on HDFS）支持更高的查询 QPS运维简单：仅查询引擎 Trino延迟低：Flink SQL 任务效果：时效性提升 7.6 倍：端到端延迟 43 分钟缩短到 5 分钟广告增收数千万Kaf