爱奇艺广告数据湖实践.pdf

1、DataFunSummitDataFunSummit#20242024爱奇艺广告数据湖实践爱奇艺广告数据湖实践董丽婷-爱奇艺-高级研发工程师爱奇艺广告爱奇艺广告广告数据架构如何广告数据架构如何数据湖如何对症下药数据湖如何对症下药踩坑踩坑目录目录 CONTENTCONTENTDataFunSummitDataFunSummit#202420240101爱奇艺广告爱奇艺广告爱奇艺广告爱奇艺合约&效果广告平台，资源利用效率最大化合约广告 目标：品牌形象宣传 客户：大型广告主 效果广告目标：快速投资回报客户：受众目标明确的中小企业投放效果：方便衡量数据要求：时效性准确性要求高综合预定完成率预定完成率、

2、单价单价、转化转化、质量度质量度 等综合排序，筛选广告广告数据规模任务量任务量数据量数据量离线：2000+实时：300+资源：上万vcoresS级任务50%存储：几十PBkafka QPS 10w+单表大小：3PB单表列数：1000+DataFunSummitDataFunSummit#202420240202广告数据架构如何广告数据架构如何广告数据平台整体架构统一查询服务（Data MixerCode Gen）数据分析与挖掘AD HOC查询Marketing API广告算法异常检测与归因分析自定义可视化报表系统任务调度系统数据质量检测进度服务基础信息采集数据问答特征数据实时报表业务数据(B端

3、)计费日志（C端）用户行为（C端）服务器日志（Debug）公司或外部数据数据采集数据服务离线数仓计算数据资产及治理实时计算数据接入与清洗（反作弊）数据仓库分层规范与模型生命周期血缘关系数据热度移动端数据出口数据处理广告数仓架构Flink SQL离线通路时效性差实时通路容量低维护两套逻辑，成本高容易出现数据不一致DataFunSummitDataFunSummit#202420240303数据湖如何对症下药数据湖如何对症下药广告数据湖选型广告数仓架构2.0logKafkaFlink实时计算实时计算HDFSSpark离线计算离线计算存储层存储层统一查询系统DataMixer查询层查询层实时查询AP

4、I任务管理系统监控应用层应用层数据可视化及报表Ad Hoc查询异常检测Redash算法引擎业务系统icebergtrinotidbclickhouseprojection数据湖实践Merge更新通用报表是基于用户行为时间，即日志时间聚合而成，广告客户有查询计费转化数据的需求（基于计费时间）。小时明细表D0D1变更表(基于计费时间)D0change D-7change D-6change D0D1change D-7change D0change D1D7change D0change D6change D7D0天级聚合表(基于行为时间)统一视图change D0change D0change

5、D0D0广告查询接口D0数据湖表trino 单表查询每天merge一次多表union-单表查询7日转化-全量数据湖实践广告推荐模型工程效果广告推荐场景中，随着用户、内容等变动频繁，需要实现更加精准的个性化广告推荐，依赖实时样本生成FlinkHbaseFlink匹配规则双流关联重试队列广告前端用户行为日志用户特征广告特征广告引擎用户行为数据流广告/用户特征数据流deltadatasession流HDFS在线训练离线训练线上特征库预估模型机器学习Parse逻辑Parse逻辑iceberg离线数仓反作弊后数据计算存储流读批读数据湖实践业务数据实时化虚拟虚拟slaveslave节点节点采集采集加工加工

6、insertinsertupdateupdatedeletedelete加载加载tb1tb2tb1tb2多db多表数据源增全量自动切换datalakedatalake全量增量实时一致性快照无锁算法并发读取断点续传tb1tb2tb1tb2hivedb1_tb1_1h db1_tb2_1h db2_tb1_1hdb2_tb2_1hfilter/joinads_tb_1h 跨库多表join 时效性：小时级-秒级 统一实时离线维表 资源：资源节省50%+支持多种异构数据源tb1tb2tb1tb2redisspark 定时1