0-1 孙斌-爱奇艺大数据大规模应用实践.pdf

1、爱奇艺大数据大规模实践演讲人：孙斌企业愿景信息革命极大地提升了社会生产效率，人们节约出了越来越多的时间，这都 需要以健康的方式消耗掉。娱乐是健康地消耗掉剩余时间最主要的方式之一。爱奇艺是一家科技公司，也是一家娱乐公司，是科技创新驱动的一家娱乐公司，用技术创新降低娱乐成本，让用户更便捷地获得更多快乐，这是爱奇艺与传统娱乐公司最大的不同。伟大有两方面内涵：一是商业层面的，是指获得卓越的商业发展，做到用户多、收入多、规模大、服务和影响范围大；二是精神层面的，是指我们要以内容 价值观影响千千万万的人，特别是年轻人，帮助他们树立健康的价值观，让 他们的成长过程变得 更快乐，精神更充实，这是更有意义的事情

2、。我们更懂娱乐内容通过不断制造爆款内容来引领行业用户合作伙伴内容合作伙伴同时为广告主带来创新的解决方案人工智能和大数据助力深入了解用户研究和开发科技科技硅谷文化50%内容与运营创意创意好莱坞文化50%我们通过独特的企业文化来解读娱乐我们集科技人才和创意人才的DNA为一体独特的企业文化数据中台架构爱奇艺大数据大规模实践数据中台架构数据链路生产层接收层采集层MQMQcopycopy加工层实时数仓离线数仓MQ离线存储数据湖离线计算实时计算使用层用户画像收入成本内容理解报表分析智能分发业务层目标考量横向协同公司决策业绩增长业务运营C端B端近实时数仓数据资产对上层统一、透明解决方案服务：数据场景、分析工

3、具、策略应用等统一标准数据接入：用户全域数据|IP标准化数据|业务数据算法工具资产管理数仓工具质量工具通用数仓、标签、集市服务通用数仓，兼容上游变更数据治理平台数据安全数据集成数据接口数据脱敏资产管理工具血缘管理数据热力图数据地图数据质量工具投递规范投递管理灰度质量监控数据仓库工具业务建模数据建模物理建模信息透明数据透明方法论透明数据安全数据分享画像标签行为标签内容信息库面向业务的数据集市存储兼容引擎兼容地域兼容数据发展过程爱奇艺大数据大规模实践发展过程零散化原始方式进行数据开发脚本化管理和运维数据零散，缺乏统筹规划体系缺少标准化2017201820192020标准化投递规范升级数据加工手册数

4、据仓库建设数据服务平台平台化离线开发平台实时开发平台数据集成和接入智能化组织构建流程规范实施流程工具支撑效果评估2021体系化机器学习平台深度学习平台数据质量模型2022立体化数据湖Iceberg近实时链路建设数据中台建设理念爱奇艺大数据大规模实践数据中台理念理念立体化标准化体系化智能化产品化通过打造离线、近实时和实时数据链路，构建立体化的数据体系，满足业务对时效性和准确性的不同需求面对不同层级的用户，提供相应的数据产品，支持用户进行自助分析，最大限度发挥数据价值通过对数据体系各个环节进行标准化，保证数据质量，有助提高数据流转和使用的效率数据与人工智能深度结合，在为用户提供智能化的同时，数据中

5、台自身也需要智能化实施是从落实角度，对数据治理的标准（包括目标和方式等）进行具体的落地，确保治理工作的正常运转；立体化数据规模时效性大通过Hive、Spark等离线引擎的升级，对巨量离线数据提供准确高效的数据计算能力，支撑核心数据绝对准确性的业务要求；湖引入Iceberg数据湖，通过Flink进行数据入湖，降低数据可见的延迟时间，提高大规模数据的分析时效性，同时降低实时链路的成本；快通过Flink和Kafka等实时组件的最佳搭配，提供秒级延迟的数据流，结合实时数仓，支撑推荐、用增等模型的快速反馈；实时采集离线采集PingbackPingback业务数据库Kafka原始数据流HDFS全量数据MR

6、任务ETL解析HiveODS层Flink实时解析KafkaODS流IcebergODS层Flink实时解析Flink实时加工KafkaDWD流Flink近实时加工Spark or Hive离线计算HiveDWD层IcebergDWD层实时计算平台魔镜工具离线计算平台标准化规范包括标准和流程，是对实体或者行为的标准化要求；覆盖生产、采集、加工、存储、使用等多个环节，涉及到多种标准和流程，并需要不同职责、不同团队的人员遵守和执行生产规范行为投递规范数据库定义规范规范技术规范质量标准安全标准数仓规范保障流程数据建模标准指标定义标准数据分级标准权限管理流程数据流转流程数据开发流程上线审批流程投递质量标