2024-05-26-datafun-杨嵩-腾讯游戏数据指标体系的高性能保障-定稿.pdf

1、腾讯游戏数据指标体系腾讯游戏数据指标体系的高性能的高性能保障保障单位：腾讯游戏单位：腾讯游戏/公共数据平台公共数据平台部部分享人：杨嵩分享人：杨嵩时间：时间：2024-05-262024-05-26目录目录l 01 背景l 02 怎么做的l 03 致谢0101背景背景1.1.业务业务背景背景背景背景腾讯游戏：一个腾讯游戏：一个拥有上百款游戏的产品拥有上百款游戏的产品矩阵矩阵业务时间跨度：从业务时间跨度：从20032003至今，跨越至今，跨越2121年年游戏用户量：游戏用户量：过亿过亿超级游戏超级游戏业务业务截止截止目前，累计数据量：目前，累计数据量：PBPB，万张表万张表相当于相当于4 4千万

2、张千万张DVDDVD光盘的存储光盘的存储量量每天新增数据：超过万亿条，每秒超过千万条每天新增数据：超过万亿条，每秒超过千万条相当于相当于500500次春运的社会次春运的社会人流量人流量海量游戏海量游戏数据数据这么多数据，能用在什么地方呢？这么多数据，能用在什么地方呢？2.2.数据应用场景数据应用场景背景背景案例一：游戏案例一：游戏排行榜排行榜案例二：案例二：皮肤抽奖皮肤抽奖案例三：分析看板（案例三：分析看板（讨论重点）讨论重点）分析看板的年访问量超千万次，服务用户超分析看板的年访问量超千万次，服务用户超万名。万名。那么这样稳定数据指标体系，是怎么做到那么这样稳定数据指标体系，是怎么做到的？的？

3、总结和总结和思考思考数据纯属虚构数据纯属虚构eg:FASTeg:FAST指标评估看板指标评估看板3.3.我们的目标，我们的目标，以及遇到的以及遇到的问题问题背景背景腾讯游戏数据指标体系面临的主要问题（在降低数据成本的同腾讯游戏数据指标体系面临的主要问题（在降低数据成本的同时、提高数据研效、改善数据质量、安全使用时、提高数据研效、改善数据质量、安全使用数据）数据）1 1、工程效率、工程效率、人效比人效比；2 2、海量指标场景下的数据一致性、海量指标场景下的数据一致性问题；问题；3 3、数据服务、数据服务多样性；多样性；4 4、数据、数据安全；安全；问题相似，但场景不同，解法不同问题相似，但场景不

4、同，解法不同定义来源：腾讯集团通道制度能力模型完备性完备性重复性重复性合规性合规性准确性准确性一致性一致性及时性及时性埋点上报埋点上报数据数据存储存储数据数据计算计算数据数据应用应用高性能高性能数据数据治理治理高性能的高性能的定义定义主要主要问题问题0202怎么做怎么做的的【问题一】研效。使用【问题一】研效。使用框架化思维，框架化思维，实现游戏实现游戏80%80%的共性的共性指标指标怎么做怎么做的的怎么应付怎么应付上百款游戏的数据指标开发？上百款游戏的数据指标开发？常规方法：人海战术。假设常规方法：人海战术。假设每款游戏配置每款游戏配置1 1名数据开发人员名数据开发人员结果：天价的人力成本（上

5、百个指标开发人员，年成本超结果：天价的人力成本（上百个指标开发人员，年成本超5 5亿）亿）遇到的遇到的问题问题现象现象1 1：王者荣耀要计算日活跃指标，和平精英也要：王者荣耀要计算日活跃指标，和平精英也要看！看！本质本质1 1：经典指标具有经典指标具有通用性通用性现象现象2 2：王者荣耀要分析英雄的登场率，英雄联盟手游也要：王者荣耀要分析英雄的登场率，英雄联盟手游也要看！看！本质本质2 2：相似类型的游戏也有：相似类型的游戏也有通用性通用性现象现象3 3：指标的开发流程很类似，：指标的开发流程很类似，BIBI平台是平台是同一个同一个本质本质3 3：ETLETL可以管线可以管线化化思考思考sou

6、rce-ETL-sink-BIsource-ETL-sink-BI平台平台举例：举例：compute_dau.py -game_id=compute_dau.py -game_id=传参传参1 1、sourcesource：约定数据源的：约定数据源的元数据元数据2 2、ETLETL：配置式开发，：配置式开发，低代码低代码3 3、sinksink：约定落地表的：约定落地表的元数据元数据4 4、BIBI平台：配置式开发，平台：配置式开发，无代码无代码【落地【落地效果】效果】600600款游戏共用一套代码生成共性指标款游戏共用一套代码生成共性指标平均平均4h4h完成三千个完成三千个指标指标解决了经典