《专场12.5-广告实时数仓建设实践-刘翀.pdf》由会员分享,可在线阅读,更多相关《专场12.5-广告实时数仓建设实践-刘翀.pdf(20页珍藏版)》请在三个皮匠报告上搜索。
1、广告实时数仓建设实践刘翀 美团#1 广告实时数据介绍广告业务简介CRM系统投放系统财务系统计费系统营销系统运营系统C端用户广告平台B端广告主APP小程序商品/服务PC89%其他11%实时数据的应用价值实时数据可视化KPI实时看板广告投放看板营销策略优化监控和诊断KPI监控异动分析投放诊断算法智能决策智能出价智能创意#2 实时数仓开发规范实时数仓分层规范业务系统原始数据(binlog、kafka)事实明细表,对原始数据进行过滤、清洗、关联、扩纬、去重等处理轻度汇总数据宽表,提高数据的易用性和指标一致性产品化的数据应用实时维表实时数仓开发技术数据源数仓模型应用数据Kafka:用户行为日志实时流Fl
2、ink:支持状态和SQL方式开发的高性能实时计算引擎Doris:海量数据中低性能查询的OLAP引擎Binlog:业务系统数据库记录实时流Blade:海量数据高性能查询的HTAP引擎Tair:海量数据KV引擎(实时维表)实时数据开发的质量保障事前预防开发规范运维规范模型对齐事中测试开发测试主备链路峰值压测事后监控分级运维数据监控延迟监控实时数据指标的开发流程数据技术方案模型规范指标规范存储和计算引擎质量保障#3广告实时数据开发实践广告实时数据开发实践-实时任务广告实时数据开发实践-数据血缘广告实时数据开发实践-数据可视化广告实时数据开发实践-流量异动监控广告实时数据应用-消耗异动诊断广告消耗的拆解公式:消耗=点击*acp=曝光*ctr*acp=召回pv*曝光率*ctr*acp广告实时数据应用-智能调价#4 未来展望未来展望kappalambda批流一体Kafka统一计算统一存储开发提效测试提效指标一致HiveFlinkSpark