6-1 网易数帆数据治理2.0实践分享.pdf

《6-1 网易数帆数据治理2.0实践分享.pdf》由会员分享，可在线阅读，更多相关《6-1 网易数帆数据治理2.0实践分享.pdf（42页珍藏版）》请在三个皮匠报告上搜索。

1、数据治理2.0 思考与实践演讲人：郭忆 网易数帆大数据产品技术负责人|AGENDA网易数帆大数据1为什么数据治理项目经常失败？2网易数帆数据治理 2.03网易数帆数据治理的实践案例4领先的数字化技术与服务提供商郭忆 网易数帆大数据产品技术负责人 研究生毕业于天津大学，计算机应用专业 十年数据相关系统设计和研发经验 构建了网易数帆数据中台支撑技术体系，支撑了网易云音乐、严选、传媒、有道、邮箱等数据中台项目建设 多次受邀在全球开发者大会（QCon）、全球互联网架构大会（GIAC）、中国数据库大会（DTCC）、系统架构师大会（SACC）分享网易数据建设实践经验 极客时间专栏数据中台实战课作者，订阅量

2、超过19000+|领先的数字化技术与服务提供商网易数帆大数据的发展历史|2006分布式数据库、分布式文件系统、分布式搜索引擎，三驾马车支撑了网易互联网2.0时代的产品2009开始基于Hadoop做数据分析以及运维2014大数据平台猛犸、网易大数据（有数）上线，加速了大数据规模化应用2017网易数帆大数据正式对外商业化2018网易严选、考拉、音乐、新闻等业务相继开始数据中台构建，网易数帆发布“全链路数据中台”解决方案2020网易数帆提出“数据生产力”理念，倡导“人人用数据、实时用数据”2022网易数帆发布数据治理和数据开发一体化“数据治理 2.0”解决方案领先的数字化技术与服务提供商网易数帆大数

3、据产品矩阵|数据资产中心数据集成数据开发数据测试任务运维数据标准数据元数据字典标准发布数据分类元数据管理元数据采集元数据注册元数据扫描元数据发布数据质量稽核监控质量报告强弱规则质量工单数据脱敏安全等级敏感识别权限申请数据安全原子/派生指标系统模型设计中心版本管理指标字典指标关联维度建模量化评估规范设计发布审核价值分析成本分析量化ROI数据下线数据门户有数BI可视化报表智能决策驾驶舱API发布数据服务服务权限服务编排服务监控数据目录数据检索资产门户数据血缘数据地图基于DataOps 全生命周期数据开发有数大数据基础平台NDHHDFS/S3Arctic（实时数据湖）Yarn/K8s自动化运维管理活

4、动管理CDP人群圈选渠道触达活动分析自助取数数据准备移动端数据大屏数据填报复杂报表机器学习交互式建模在线推理可视化建模训练任务SparkHiveImpalaFlink领先的数字化技术与服务提供商网易数帆大数据商业化定位|我们是一个基础软件提供商1我们支持跨云的战略2未来的大数据软件市场一定是分层的软件市场3领先的数字化技术与服务提供商网易数帆大数据产品优势|网易集团内部业务的长期实践支持跨云部署领先的方法论开源技术体系行业落地案例网易出品，必属精品领先的数字化技术与服务提供商网易数帆大数据输出模式|产品输出服务输出知识输出产品工具实施服务知识转移运维服务领先的数字化技术与服务提供商他们都在用网

5、易数帆大数据|华泰证券华福证券华夏银行马上消费江苏农信好未来海亮教育南方日报中山七院记忆科技昆钢温氏集团九州通福建电力杭州银行绿瘦中国能建投南钢浙交规浙江移动浙商银行东北证券广发证券民生证券杭州联合银行泰康资产龙湖地产美素佳儿比心宁钢中国电信八维通地上铁AGENDA网易数帆大数据1为什么数据治理项目经常失败？2网易数帆数据治理 2.03网易数帆数据治理的实践案例4领先的数字化技术与服务提供商我们为什么要做数据治理？|企业数字化转型两个阶段信息化系统取代线下流程数据+算法取代拍脑袋决策在线化数智化数据生产力：通过使用数据带来组织生产力的提升愿景：人人用数据，时时用数据DataOps（数据研发）D

6、ataFusion（数据治理）DataProduct（数据产品）领先的数字化技术与服务提供商网易数帆大数据生产力架构|业务系统（流程）数据产品（触点）数据中台（底座）低质量、原始数据高质量、带口径指标持续监控、异常诊断、业务决策数智化领先的数字化技术与服务提供商数据治理是我们把数据推向业务的基石|找不到60%的数据都没有挂靠数据目录数据零散的分布在多套Hadoop和数据仓库之间数据开发效率低、质量差38%的需求交付存在延期65%的数据质量问题都是由数据开发任务变更导致看不懂78%的元数据都存在缺失，尤其是管理元数据和业务元数据信不过每周都有10个以上的数据质量问题被投诉，且90%都是业务先发现