8-3 货拉拉数据治理平台建设实践.pdf

1、货拉拉数据治理平台建设货拉拉数据治理平台建设实践实践陈元 货拉拉 资深大数据工程师张放 货拉拉 高级大数据工程师|010102020303目录目录 CONTENTCONTENT|货拉拉数据治理体系货拉拉数据治理体系数据质量平台建设实践数据质量平台建设实践元数据平台建设实践元数据平台建设实践|0101货拉拉数据治理体系货拉拉数据治理体系|背景与现状成本问题上游数据变更引发故障模型重构数据字典不规范大量全量抽数实时流没压缩不合理的分区策略数据表没有生命周期无效任务空跑任务发布流程不规范缺乏全局的模型规范实时数仓缺乏公共层应用数据没有生命周期管理链路长不稳定，产出不及时缺少监控规范，数据问题不能及时

2、发现数据质量问题链路稳定性问题数据服务数据处理数据接入数据生成|数据治理关键环节 组织保障平台支撑制度建设项目落地数据治理组织保障：明确职责分工制度建设：制定标准流程，保障落实执行项目落地：贴合业务，追踪成效平台支撑：研发支撑系统，提质增效|货拉拉数据治理产品体系 大数据大数据基础平基础平台台基础层基础层离线计算实时计算资源管理大数据存储基础元数据（Hivemeta）在线数据存储HBase实时数据接入埋点数据接入数据对账数据链路监控离线数据接入数据数据接入接入平台平台接入层接入层数据数据门户门户权限权限中心中心个人个人中心中心内容内容管理管理知识库知识库建议建议反馈反馈数据门户数据门户权限中心

3、个人中心内容管理知识库建议反馈门户首页平台层平台层&数仓数仓数据研发平台数据研发平台飞流实时开发BQ数据查询IDP数据集成开发数据仓库数据仓库DWDWB B基础整合层基础整合层DWDWT T明细数据层明细数据层数据湖接入（数据湖接入（T+1T+1、近实时、实时）、近实时、实时）DWSDWS公共汇总服务层公共汇总服务层用户集市用户集市司机集市司机集市主数据库主数据库数据仓库数据仓库数据工具箱数据工具箱自助分析自助分析可视化大屏可视化大屏数据服务工具数据服务工具快捷分析快速报表数据智能支撑工具数据智能支撑工具服务层服务层预警/告警监控多维分析固定报表AB Test特征平台大数据分析平台大数据分析平

4、台数据应用支撑服务工具数据应用支撑服务工具数据工具箱自助分析可视化指标库管理数据上报固定报表用户画像数据云服务大数据分析平台应用层应用层智能营销智能广告投放实时报表鹰眼监控经营分析用户分析数据治理平台数据治理平台ODS贴源数据层DWS公共汇总服务层DIMDIMDWD明细数据层DWB明细数据整合层用户集市用户集市司机集市司机集市集市1集市2指标库AI平台辅助决策类应用辅助决策类应用赋能业务类应用赋能业务类应用数据目录管理数据标准管理数据资产评估数据资产管理数据模型规范数据库管理数据建表管理数据模型管理数据地图数据血缘分析数据源探活元数据管理成本度量与展示辅助治理成本运营机制成本管控质量规则配置数

5、据质量监控数据质量报告质量问题处理数据质量管理数据安全管理库表权限管理数据审计数据分级分类数据加密数据脱敏报表权限管理下载权限管理|0202数据质量平台建设实践数据质量平台建设实践|面临的数据质量问题有哪些？表未按时产出 上游表数据错误污染下游 埋点数据丢失 报表指标数据异常.影响影响报表延迟链路异常数据丢失决策错误|产生数据质量问题的原因 技术端管理端基础设施业务源系统变更业务端数据输入不规范数据开发 SQL bug任务流程、参数、配置错误计算资源不足机器硬件问题缺乏质量意识缺乏有效质量问题处理机制数据生成数据接入数据处理数据服务业务端技术端基础设施管理端|数据质量保障思路 制定质量管理机制

6、制定数据质量标准制定质量检测规则监控原始数据质量监控数据中心质量反馈数据质量问题修复数据质量问题收集数据质量需求完善质量管理制度完善数据质量标准考核数据质量水平事中监控事前预防事后完善|货拉拉数据质量平台“零”代码一站式质量检测全链路监控全方位质检报告|货拉拉数据质量平台-系统架构 高稳定高效率熔断阻塞StandbySchedulerHiveServer2PrestoExecutortasktasktaskActive SchedulerZookeeperZookeeperZookeeper任务管理规则配置中心质量报告日志服务网关服务1网关服务2APIAPILeader Election元数据