8-1 中通快递数据治理实践.pdf

1、中通数据治理实践中通数据治理实践薛世敏 中通快递 资深架构师|0101中通简介中通简介0202数据治理驱动力数据治理驱动力&目标目标0303 数据治理实践数据治理实践0404未来规划未来规划目录目录 CONTENTCONTENT|0101中通简介中通简介|中通快递介绍中通快递介绍中通快递股份有限公司中通快递股份有限公司创建于2002年5月8号，是一家以快递为主的大型综合物流服务企业。市场份额市场份额 23.0%23.0%日均日均单量单量近近70007000万万客户客户满意度满意度“通达系通达系”中名列前茅中名列前茅菜菜鸟指数鸟指数表现表现优异优异国际快运云仓商业冷链金融智能星联传媒|兔喜中通快

2、递业务流程图中通快递业务流程图揽收揽收网点网点首中心首中心末中心末中心网点交件网点交件快件转运快件转运网点拉件网点拉件派件派件网点网点电商下单电商下单散客下单散客下单集团下单集团下单快递柜快递柜快递超市快递超市驿站驿站客户服务客户服务快递时效快递时效利润收支利润收支市场份额市场份额|0202数据治理驱动力数据治理驱动力&目标目标|驱动力驱动力-业务痛点业务痛点数据资产数据资产缺乏盘点缺乏盘点1.公司有哪些数据，都分布在哪些系统？2.哪些数据已经采集到大数据？数据标准化数据标准化建设不足建设不足1.指标数据标准化2 主数据标准化.数据质量数据质量问题问题1.脏数据2.维度数据缺失3.数据采集不全

3、.数据模型数据模型待完善待完善1.模型复用度2.烟囱式开发.驱动力驱动力-法律法规法律法规数据数据安全安全法法个人信息个人信息保护法保护法1.1.做好数据做好数据分级分类分级分类和和对数据合规安全访问；对数据合规安全访问；2.2.保障数据保障数据保密性、保密性、完整性完整性、可用性；、可用性；|数据治理目标数据治理目标数据数据数据资产数据资产|数据治理体系数据治理体系战略机制平台专 题组织与团队建设组织与团队建设数据治理组织角色与职责数据认责制度流程建设制度流程建设管理制度考核机制实施细则操作手册数据认责、文化建设数据认责、文化建设数据资产运营，价值呈现数据资产运营，价值呈现实施实施专题专题实

4、施实施流程流程数据标准管理数据质量管理元数据管理数据安全&隐私基础控制活动基础控制活动数据存储周期主数据管理数据架构&模型支撑活动支撑活动数据服务应用管理数据赋能活动数据赋能活动盘盘规规治治用用元数据管理平台元数据管理平台数据质量管理平台数据质量管理平台大数据平台大数据平台企业数据战略目标企业数据战略目标|组织架构组织架构管理管理执执行行|0303数据治理数据治理实践实践数据质量治理数据质量治理数据模型治理数据模型治理元数据治理元数据治理|认识数据质量认识数据质量数据质量数据质量是指在业务环境下，数据符合数据消费者的使用目的，能满足业务场景具体需求的程度。|图片来源网络数据质量问题数据质量问题

5、数据质量数据重复数据重复波动值过大波动值过大异常值异常值操作不规范操作不规范数据未采集数据未采集.对数据不信任对数据不信任无法正确做决策无法正确做决策不能精细化运营不能精细化运营|数据质量解决方案数据质量解决方案数据数据质量质量发现发现数据质量发现数据质量发现数据质量管理平台业务专题分析评估评估分析分析数据数据质量质量验收验收数据数据问题问题解决解决评估分析评估分析问题根本原因分析治理成本收益分析数据问题解决数据问题解决业务技术流程数据质量验收数据质量验收数据质量是否解决|监控流程监控流程业务层级业务层级关键校验内容思路关键校验内容思路ODS数据源抽取记录量一致DW数据空值、编码值一致性、数据

6、重复校验DM数据加工结果保持总值不变应用指标平衡数据一致、指标值平衡DMDMDWDWODSODS规则配置规则配置规则引擎规则引擎数据加工流程数据加工流程规则检测支撑规则检测支撑异常结果输出异常结果输出日志记录存储日志记录存储异常结果分析异常结果分析异常异常结果提醒结果提醒检测点检测点设置设置规则能力规则能力实现实现检测结果检测结果生成生成各层具体校验思路各层具体校验思路上游依赖上游依赖程序处理程序处理质量检查质量检查|数据治理实践数据治理实践-搭建监控平台搭建监控平台规则模板规则模板自定义规则自定义规则消息告警消息告警电话告警电话告警质量全貌质量全貌规则配置质量检查监控告警流程优化问题报告强/