腾讯游戏数据治理 最佳实践-20231028.pdf

1、腾讯游戏数据治理最佳实践演讲人-陈龙-腾讯-游戏数据资产服务负责人DataFunSummit#2023目录01从数据之痛说起数据治理背景与目标数据质量如何保证？数据质量管理与分析03如何用最低的成本生产数据？数据开发规范与成本优化04如何保证数据安全？安全规范与风险管理0502数据在哪儿，该怎么用？资产化建设与使用从数据之痛说起：数据治理背景与目标为什么要做数据治理？数据治理能够带来什么？数据治理工作如何开展？这个是我们项目敏感数据，有哪些人有权限？我从小C处看到的数据为什么和你的不一样？游戏品类数据有缺失，用户数也是异常，该找谁？快快快，老板要看个数，帮忙看看逻辑对么？新人做商业化分析，如何

2、能够理解报表中数据指标的含义？要做XXX活动分析，从哪里获取数据，如何申请权限？A同学已经转岗，为什么数据权限还在？数据服务投入这么多，有什么价值？哥，这个数从哪个日志表取？关于数据，这些熟悉的声音为什么要做数据治理？来自数据使用一线的声音腾讯游戏数据发展数据链路技术组件现状数据通道 TDM/TGLogDMP 数据采集TDBank组件实时数据流：活动/分析/游戏支撑，kafka/storm/flink/tendis获取层ETL工具格式标准化数据入库数据对账DWD：明细服务层ODS层数据清洗数据标准化格式转换预聚合质量校验位图，行列转化等数据主题统计宽表构造对接OLAP数据分发数据治理管理平台：

3、数据资产的全面纳管与精细化运营消息队列流计算引擎RedisESDruid标准化引擎获取层规则引擎动态关联引擎CK处理层查询调度引擎触发引擎RDBMSHTTP用户隐私画像系统推荐系统分析模型数据报表数据可视化实时服务活动分析APP：应用层ADS：分析层DWS：汇总服务层离线数据流：增长/画像/买量/大盘，HDFS/Hive/PG/SR采集板块计算与存储板块应用板块治理板块为什么要做数据治理？解决不同角色不同阶段的困惑数据全生命周期流程数据接入数据计算特征工程数据建模数据分析数据展示开发同学l数据表太多，信息传递依赖口口相传；l数据仓库库表不透明，找不到想要的数据；l数据血缘与数据计算逻辑不清楚，

4、可信度不高数据科学同学l特征多、复用少，新模型开发效能较低，共享困难；l数据可信度需要花费大量的时间精力进行梳理；l大量穿透式日志表计算，造成人力成本、资源成本的浪费；产品同学/运营同学l报表多，数据口径对不上，导致分析结论不正确；l需求多排期慢，产品分析需求依赖开发排期；l数据安全得不到保障，数据下载到本地分析，容易数据泄露；数据使用难，建设成本高，需求实现慢，安全风险大数据治理是什么？通过挖矿的人，让石头变成金子数据治理（data governance）指是组织中涉及数据使用、规划、控制和提供数据及信息资产的一组业务职能：包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程

5、序，从而控制、保护、交付和提高数据资产的价值。狭义的数据治理：基于元数据管理，辐射到数据生命周期、安全、质量的管理。广义的数据治理：从数据标准的制定开始，覆盖数据建模、开发、管理、运营全流程。数据治理组织组织角色制度流程数据治理评价及优化数据标签体系数据指标治理数据运营数据标准数据开发主数据管理数据模型设计数仓规划设计运维调度元数据管理技术元数据业务元数据资产目录数据血缘数据质量管理数据全生命管理数据安全管理元数据仓库从标准开始数据开发数据管理（狭义）数据运营具体怎么做数据治理？围绕“提升数据可用率”的目标计算资源存储资源数据开发规范成本监控分析数据质量规则库质量规则挂载数据规则完善质量问题分

6、析严禁 违规授权严禁 数据泄露全链路数据 安全审计数据检索数据地图数据血缘资产维护数据资产建设数据质量保障数据成本优化数据安全管控数据在哪儿，怎么用？资产化建设与使用什么是数据资产化建设？数据资产使用需求如何梳理？如何使用工具让数据检索更便捷？提升数据分析效率 快速定位错误 可信可用可查实现敏捷自助服务提升数据复用率提升数据透明化数据资产化建设的目标让数据可查、可用、可信资产建设质量保障成本优化安全红线数据资产化，就是让数据像图书馆的书一样，能够被查询、被借阅、被学习提升数据可信度 举个例子讲，数据资产具体如何在工作中使用？案例背景：小A接到了一个分析需求，希望按玩家年龄段、地图、各模式的近7