6-3 释放数据潜能激发数据价值——腾讯云数据治理 Wedata 产品实践.pdf

《6-3 释放数据潜能激发数据价值——腾讯云数据治理 Wedata 产品实践.pdf》由会员分享，可在线阅读，更多相关《6-3 释放数据潜能激发数据价值——腾讯云数据治理 Wedata 产品实践.pdf（19页珍藏版）》请在三个皮匠报告上搜索。

1、WeData数据治理介绍及内部实践释放数据潜能 驱动业务增长腾讯云大数据平台产品中心fairyxwang2022081.数据治理挑战2.腾讯内部数据治理实践3.WeData数据治理平台能力目录数据治理挑战01数据治理挑战数据信息分散数据质量差维护困难元数据不全无法审计和度量l需要有业务接口人维护补全业务信息l数据多样化，缺少统一标准l数据有问题，总是事后才知道l不知该由谁去维护预防l业务系统不清晰l数据资产不明晰业务挑战l上游是一张空表，或者无效字段，总靠人肉来判别l修改一张表，不清楚带来哪些影响管理挑战l用数据的人这么多，如何保障公司数据访问是可靠安全的l数据成本是什么样技术挑战管理挑战业务

2、挑战管理挑战技术挑战业务挑战5数据治理“马斯洛的需求层次”数字化不同阶段，数据治理关注的核心需求不同成本安全可用质量时效数据产出及时性数据有保障，准确、完整、有效数据易查找、好理解、可复用数据安全、敏感数据识别、合规保证数据存储、使用的成本优化和控制腾讯内部数据治理实践027腾讯内部业务现状CDG企业发展事业群IEG互动娱乐事业群CSIG云与智慧产业事业群PCG平台与内容事业群S职能系统WXG微信事业群TEG技术工程事业群数百产品线数千“数据分析师”集成处理洞察治理融合分享数万业务线EB级存储量目标一致性8腾讯数据治理三阶段数据资产化全面数据汇聚统一数据资产业务决策辅助降本增效成本洞察成分分析

3、责任到人业务治理平台化方法论沉淀治理工具化效果可量化基于腾讯统一的数据平台体系，打通系统间数据孤岛，建立统一的数据资产，为辅助业务决策提供高质量的数据保障业务规模日益增长，同时也带来巨大的成本负担，成本治理迫在眉睫将治理方法论通过平台进行实现，治理流程工具化，提升治理效率，推动深度治理9腾讯内部实践：腾讯新闻数据资产化背景与目标过程：数据模型重构成果腾讯新闻数据治理项目目标是通过对腾讯新闻业务数据的规划、生产、加工、应用等进行全链路改造与升级，在提升新闻数据的准确性、覆盖度和实时性的同时，打造科学的数据应用体系。将数据质量体系在新闻整个业务推进落地，为敏捷分析与科学实验决策等奠定了基础缺少统一

4、数据规范：各业务数据埋点规范、上报规范、数仓规范、指标规范各异。数据质量难以保障：业务数据仓库庞大，总离线表数超过xx万，缺乏数据分层及数据模型，数据复用度仅15，存在大量年久失修的数据埋点设计-数仓建模-指标建模统一埋点模型升级数仓模型构建指标模型链路治理完成数据生产链路的规范化建设，从埋点到数仓到指标等，梳理完成了适合新闻的管理流程，并在大改版过程中快速应用数仓治理完成250个模型设计或重构，52个维表的设计以及 270个应用表的开发。在数据资产完整性和分层规范 达到95%、复用度达到73%以上，跨层引用占比小于 5%10腾讯内部实践：PCG数据成本治理资源用量资源单价PCG大数据成本平台

5、化治理成本度量策略挖掘治理任务优化执行范围：1.数据采集平台2.数据生成平台3.数据分析平台4.数据应用平台成果：在月成本同比增加30%+的情况下，业务单位用户/内容消费的大数据成本下降，业务大数据成本绝对值下降至少10%强化大数据成本治理理论，沉淀方法论、流程和平台能力优化思路：降低业务不合理使用优化思路：提升数据平台效能流程优化策略优化架构优化性能优化11腾讯内部实践：治理平台化推动业务治理落地背景与目标过程：构建一站式数据治理平台大数据环境下，海量数据给业务带来了巨大价值，同时也带来巨大的成本及负担。业务团队大数据成本盘点困难、治理执行门槛成本双高、治理效果不能有效量化，都是业务在推进资

6、产治理的痛点现状概览资产明细治理方案治理执行洞察全域数仓及大数据成本，呈现最真实的业务资产情况全方位治理项洞察，基于资产分规范，对当前业务的待治理项进行明细展示平台内置治理方案结合业务定制化治理方案一站式治理执行，针对洞察出的治理项进行治理动作资产价值评分体系构建：规范、安全、质量、成本、应用WeData 数据治理平台能力0313腾讯内部大数据能力的对外商业化输出-WeData公有云EMRCDWDLC私有云TBDS数据湖TBDS MPPRDBTDSQL.敏捷数据生产场景化解决方案管理体系用户管理审批管理多租户管理项目管理数据源管理多环境管理平台开放WeData数据开发治理平台金融政务/公安零售