2019年滴滴敏捷数据中台实践.pdf

1、滴滴数据体系介绍精益生产与敏捷创新滴滴数据体系介绍精益生产与敏捷创新张茂森滴滴概况|交通大数据超过150亿日均车辆定位数据超400亿次每日处理路径规划请求超过4800TB每天处理数据数据覆盖了交通路况、用户叫车信息、司机驾驶行为、车辆数据等多个维度滴滴目前对15分钟后供需预测的准确度已经达到了85%业务发展驱动数据进化资产变现化数据平民化数据服务化数据智能化数据资产化打破烟囱，盘活资产安全合规与治理从量化到标准到优化信息数据化从记录结果到记录过程从副产品到精密设计从决策支撑到数据驱动业务信息化运营营销信息化研发生产信息化企业管理信息化 业务烟囱 创新乏力 计算存储落后 数据文化薄弱 数据质量混

2、乱 高投入低产出 使用门槛高 变现效率低研发实验生产运营营销平台类互联网企业滴滴滴滴的同与不同数据资源投入-业务价值产出微笑曲线网络效应数据智能中台数据体系建设的核心困难想法分析数据生产价值质量、效率、成本质量、效率、成本产品困难：多场景，全链路的复杂需求组织困难：多团队，多目标的协作需求业务人员业务分析数据科学数据工程产品研发人工智能数据生产价值线数据创新价值线滴滴精益数据管理体系高价值、高可靠、高效率、低成本的数据服务交付精益数据生产价值链 分级 监控 复盘 自働化敏捷数据创新创新网 用结果 自配置 模仿做 自助化智能数据目录发现、理解、信任、协作、众包敏捷数据治理数据资产、安全合规服务驱

3、动、全面量化、重点攻坚数据文化持续改进，尊重人数据基础设施数据系统工具链两年来的建设成果两年来的建设成果价值交付NPS从19%到60%精益数据生产D0级事故从10+降为1核心数据产出时间提前到5点敏捷数据创新非例行任务从2k+到20k+智能数据目录 DataGraph20%员工高频使用系统性对外输出敏捷数据治理 DataRank资产分从40到70数据文化150+次改进复盘，周活1700到5000+数据基础设施+系统工具链：开始对外输出开发工作台数据开发数据测试数据发布数据质量监控告警运维数据研发数据通道实时采集批采集Binlog采集数据中间件实时计算FlinkWoaterDruidHadoop

4、体系HadoopHiveSparkKey-Value&OLAPHBasePrestoClickhouse数据架构DataGraphOneSearch数据字典数据图谱数据资产自助查询协助模板查询加速数据API数据赋能DataRank资产价值分资产归属资产优化数据建设数据全链路分级保障数据治理DataHubkafkaES可视化分析交互分析报表、仪表盘Notebook数据服务业务分析应用埋点运营分析产品优化AB Test地理围栏营销服务用户分层标签画像流程优化业务根因财务管控多级管控财务根因CXO仪表盘移动App 自助式自服务 高效率全方位 全链路能力覆盖滴滴数据系统组成 统一的元数据检索能力，支持

5、Hive、报表等多种数据实体的统一搜索 基于数据价值或热度的综合排序 业务驱动的数据图谱 众包协作的知识沉淀智能数据目录 让数据越用越好用1234核心数据5点产出（业内普遍7-8点）开发效率提升35%指导数据优化方向精细化建设分级保障数据图谱与数据中间层成本优化数据价值量化稳定性建设数据上下游联动（全链路SLA）埋点管理数据采集运维/质量监控90%复盘率如何做好数据的基础质量？如何找到需要的数据？如何更快更简单的使用数据？建立数据委员会，推进业务-运维-数据的协同机制一键埋点，用户行为轨迹全记录数据采集秒级同步，准确性99.999%数据链路全监控，自动定位关键节点指标口径变动100%管控所有元

6、数据信息一键快速查询精准评估每一张表的数据影响和价值数据开放率99.04%隐私数据全脱敏，完备的权限管控机制，数据泄露0事故体系化建设指标口径管理（数据字典）元数据（数据地图+OneSearch）资产价值评估体系（DataRank）数据开放数据安全规范精益数据生产 让数据持续可信赖数据开发工作台监控&告警小时级延迟近源数据层业务ER关系还原中间数据层标准多维立方体查询加速数据层交互式查询接口|数据图谱|数据地图|DataRank管理|数据API各业务主题分析数据层标准化数据服