董彦广-有效运维数据治理.pdf

1、1有效运维数据治理的探索董彦广2022-1221传统数据治理2基本概念3治理方法4落地实施目录CONTENTS3014数据治理三大要害：数据治理专注于将数据作为企事业单位数据资产进行应用和管理的一套管理机制，能够消除数据的不一致性，建立规范的数据应用标准，提高数据质量，实现数据内外部共享，并能够将数据作为组织的宝贵资产应用于业务、管理、战略决策中，发挥数据资产价值。狭义上：数据治理是指对数据质量的管理、专注在数据本身。广义上：数据治理是对数据的全生命周期进行管理，包含数据采集、清洗、转换等传统数据集成和存储环节的工作，同时还包含数据资产目录、标准、质量、安全、开发、服务与应用等，整个数据生命周

2、期而开展开的业务、技术和管理活动都属于数据治理范畴。数据治理的价值与挑战方法论数据汇聚离线数据在线数据梳理资产目录数据地图开发代码工作流.监管安群运维权限.展现门户大屏模型ODSDWDDWSADM面向应用业务治理数据治理管理形成知识提炼抽象方法手段标签模型关系识别轨迹匹配映射关联服务业务监控数据资产大屏安保大屏查询特征画像标签查询预警规则引擎预警中心服务数据开放API开放数据治理的价值降低运营成本提升业务处理效率改善数据质量控制数据风险增强数据安全赋能管理决策数据治理的5类问题黑暗数据安全风险糟糕的数据质量数据标准不统一数据孤岛数据治理的6个挑战价值认知不足缺乏顶层设计战略上不够重视标准不统一

3、难以整合业务人员参与不足缺乏组织及人才支持当前广泛认知的数据治理5典型大数据管理方案人工智能大数据数据整合功能设计应用发布需求分析数据应用模型设计辅助决策价值挖掘数据智能经营分析数据资源数据计算管理治理开发调度数据模型计算模型数据源关联业务目标可视化样式数据任务管理机器学习数据应用数据整合用户接入数据采集数据安全最终目标数据资产增值保管数据赋能业务6典型大数据平台架构数据源业务物联网实时数据流非结构化数据外部数据数据采集离线实时FTP接口代理数据中心存储RDMS消息队列分布式存储存储非结构化数据图片文本实时数据存储模型离线数据应用租户计算区离线实时标准层数据湖数据治理元数据管理标准研发统一调度

4、资产架构服务质量管理门户可视化数据应用经营分析客户挖掘用户画像业务预测风险控制数据应用数据服务统一运维资源监控服务监控告警事件管理自动化运维流程管理数据安全身份管理认证管理加密脱敏安全日志安全预警安全审计7数据治理在整个大数据平台中的定位治理平台资产管理（元数据、标准、质量、资产、目录）应用建模数据采集数据共享数据加工数据源数据基础支撑采集平台数据资源中心质量稽核运维平台安全平台数据采集管理ETL集中监控维护信息安全保障共享开放数据管理&应用门户数据资产&服务控制&调度是整个大数据资源平台管理与应用开发的统一入口是对数据资源及数据资产进行管理与应用控制的主要界面提供数据加工处理的核心能力，并串

5、联、集成其他能力模块完成面向需求的数据生产，是实现将原始数据资源转换为数据应用服务的中心枢纽123540资产管理8构建数据治理应用与服务体系技术工具专业团队管理分析理论4PSTP理论PEST分析方法成功经验用户使用行为5W2H生命周期逻辑树数据处理管理HadoopAI技术机器学习管理治理数据仓库数据分析对比分析交叉分析回归分析数据标签回归聚类分类神经网络语音识别图像识别ETL交付流程项目需求分析系统开发与测试平台上线应用平台运营支撑功能/模型迭代平台工程师数据工程师项目管理运营支撑架构与功能设计应用开发平台建设咨询服务公式法对比法二八法漏斗法统计分析方法大数据平台建设数仓/BI建设数据治理数据

6、建模应用开发分析咨询专题主题开发运营支撑功能/模型迭代算法工程师数据咨询师90210数字化运维的新课题-运维数据治理狭义上：IT运维过程中产生的各种软硬件系统运行数据。广义上：围绕运维全生命周期而产生和使用的监控指标、报警、日志、网络报文、用户体验、业务运营、架构及链路关系、运维知识、CMDB（配置管理数据库）、运维流程等数据，都属于运维数据的范畴。什么是运维数据？1.相对于业务数据治理，对运维数据治理的重视度不足。2.运维数据类型不同，运维数据在类型上更加广泛。3.运维数据治理不是从零开始，已经存在大量的平台工具，积累了一定的运营经验，如何将分散的组织、流程和工具等整合在一起是运维数据治理的