腾讯视频指标中台驱动湖仓一体建设实践(1).pdf

1、DataFunSummit#2023TencentTencent 腾讯腾讯腾讯视频指标中台驱动湖仓一体建设实践演讲人-惠明-腾讯-Tech Lead01腾讯视频数据业务介绍02腾讯视频指标中台整体架构03腾讯视频湖仓一体建设实践04总结&规划目录 CONTENTDataFunSummit#2023TencentTencent 腾讯腾讯01腾讯视频数据业务介绍视频业务流程浏览浏览搜索搜索播放播放评论评论启动启动活跃用户数活跃用户数曝光人数曝光人数点击人数点击人数搜索次数搜索次数搜索渗透率搜索渗透率播放播放UVUV播放播放VVVV互动用户数互动用户数互动渗透率互动渗透率用户行为关键指标腾讯视频是中

2、国领先的在线视频媒体平台，拥有丰富的优质流行内容和专业的媒体运营能力，是聚合热播影视、综艺、生态视频、娱乐社区、体育赛事、新闻资讯等为一体的综合视频内容平台。视频技术背景体量大体量大:来源丰富，峰值来源丰富，峰值S S0 00000+万万/s/s链路复杂链路复杂:涉及涉及组件多组件多，跨，跨BGBG业务广业务广报表分析类报表分析类为运营团队提供实时数据决策能力实验类实验类灰度实验：及时止损、加速扩量热度值外显类外显类DataFunSummit#2023TencentTencent 腾讯腾讯02腾讯视频指标中台整体架构指标中台的业务背景指标指标问题问题一致性时效性易用性成本指标时效性问题 数据体

3、量大 值班运维 异常处理 任务优化指标一致性问题 平台工具 管理流程 加工逻辑 离线实时链路指标易用性问题 平台工具 数据资产文档 数据资产培训指标成本问题 重复加工 数据生命周期 无用指标 需要解决的指标治理问题：一致性、时效性、易用性、成本指标中台业界调研1、Headless BI2、Metric Store 指标只需要定义一次，可以在仪表盘和分析工具中灵活使用3、Low Code 指标统一计算并存储，提供一致性的指标服务 用较少的代码，较快的速度去交付应用程序Airbnb的度量平台Minerva商业化指标中台产品 Kyligence Zen 指标中台特点：一次定义多次使用、统一管理、统一

4、服务、低代码指标中台整体架构指标分类指标管理指标认证维度标准化SLA保障指标服务指标消费数据血缘数据地图指标治理资产运营资产工场数据应用报表工具数据产品敏捷分析实验平台开发应用数据资产平台治理引擎数据发现数据资产分组织保障数据委员会TEG基础设施数据接入任务调度数据存储统计分析实时计算指标流程指标生产流批一体湖仓一体多维分析 基于公司平台的基础能力，通过指标中台对指标的一致性、时效性、易用性、成本进行治理指标一致性-指标服务欧拉指标管理统一指标查询服务/MQLMySQLCKStarRocksBI系统自助分析定制产品实验平台指标查询服务架构数据集配置数据看板 统一管理指标，提供统一的指标服务，支

5、持指标查询、报表配置、API访问指标一致性-指标认证指标名称指标信息指标分类指标责任人指标口径指标数据源欧拉指标认证报表工具数据产品指标检索认证信息透出 官方认证指标，保障多平台指标口径一致，提升指标可信度指标时效性-SLA保障任务定义信息任务运行信息任务血缘信息元数据层SLA分组管理SLA配置管理SLA报警管理管理层SLA分级值班运维应用血缘应用层运行监控报警通知质量报表SLA监控看板 基于任务运行信息和血缘信息，监控数据执行链路，保障数据按时就绪，及时处理数据异常指标易用性-数据地图分类查找分类查找指标关键词检索指标指标详情关键词检索指标基本信息：名称、口径、责任人、主题血缘信息：数据源、

6、数据应用、下游指标加工信息：SQL逻辑、数据预览 基于数据地图，根据关键词、标签、主题，高效查找和使用指标指标易用性-自助分析简单效灵活丰富拖拽式使用方式,开启零SQL查询体验高效的查询效率，自动的数据路由支持不同指标不同维度下的关联分析涵盖全业务场景 提供自助分析工具，开放指标库的指标和分析维度，支持灵活多维数据分析指标成本-数据资产分制定治理目标治理项治理项治理动作成本分1.无用任务下线2.数据生命周期控制规范分1.业务库和主题域2.表字段命名、注释3.反向依赖、原始层依赖安全分1.敏感字段加密2.表和任务Owner不一致质量分1.SLA任务延时应用分1.指标认证定义治理规则推送相关责任人