网易云音乐数据研发模式DataOps落地实践_宋东辉.pdf

1、网易云音乐数据研发模式DataOps落地实践网易云音乐/宋东辉 浙江大学硕士毕业之后，加入支付宝，参与蚂蚁端稳定性 Sapienz 项目建设，数字内容治理黑鸟项目核心成员，双12大促主要质量负责人之一。2021年加入网易云音乐，云音乐大数据质量建设和数据治理负责人，发起并牵头多方共建 DataOps 项目，提升了数据研发效率和质量水位。网易云音乐/宋东辉资深测试开发工程师目目 录录Contents1 1、背景简介、背景简介2 2、方案介绍、方案介绍3 3、落地效果、落地效果4 4、未来展望、未来展望1 1、背景简介、背景简介大数据的重要性大数据的重要性大数据平台搜索AB用户画像算法服务商业分析

2、核心指标推荐安全结算黑产版权曲库广告会员大数据的框架大数据的框架 客户端 系统日志用户日志服务端 系统日志用户日志开放平台 系统日志三方日志数据生产ODS层 DDBMySQL有数平台（网易数帆）数据库 DIM层DWD层 BI平台 机器学习平台 圈选平台 数据服务平台AB实验平台ADS层DWS层 业务主题域1明细事实表1明细事实表2明细事实表NDDBMySQL业务主题域N明细事实表1明细事实表2明细事实表N分析主题域1轻度汇总事实表1轻度汇总事实表2轻度汇总事实表N分析主题域1重度汇总事实表1重度汇总事实表2重度汇总事实表N数据集市1数据集市2数据集市3数据集市N数据消费大数据的痛点大数据的痛点

3、需求源埋点需求80+/月商业分析核心KPI百+业务A级以上活动重要C端业务我就要这样子！数据研发数据消费数据建模明确数据领域定义数据指标构建维表数据开发任务开发数据测试调度部署算法主站搜索主站推荐业务歌曲百科个人主页播客日均百+变更！指标不正确、数据未产出客诉舆情！回刷数据计算成本单次万元级别研发自测效率低，准出标准不清晰线上问题感知滞后数据线上问题平均10+个/月线上问题平均解决时长高达44h需求延期交付比高达50%现状痛点业务感知 研发感知 2 2、方案介绍、方案介绍2.12.1、数据研发标准、数据研发标准数据研发标准数据研发标准 需求阶段 研发阶段 测试阶段 生产阶段 门禁需求文档数据模

4、型文档分工&排期过程节点动作提需求 模型设计 开发 数据测试 发布 运维建需求单需求评审项目排期设计指标设计模型基线评估模型开发调度配置监控配置血缘配置唯一性准确性完整性一致性及时性数据验收发布审批响应线上问题故障定级定责监控治理基线治理复盘&质量月报门禁代码扫描测试数据&环境门禁静态资源检测生命周期检测血缘检测监控检测数据用例检测评估体系：研发周期、延期率、问题数准出标准：覆盖率、规范性、数据质量2.22.2、平台化、平台化平台化平台化DataOpsDataOps效能大盘研发周期长！研发质量有提升！线上问题增多！人力成本增加！select*from music_logodsdwddwsads

5、 6点基线建需求单需求评审模型设计&开发关联任务单绑定任务代码检测血缘检测卡点数据测试通过select*from music_logodsdwddwsads 6点基线同意发布发布监控告警风险巡检告警跟进风险审核闭环治理目标：协调多方高效合作，辅助研发敏捷开发！离线生产整体框架卡点能力事后巡检研发效能卡点自动化卡点自动化整体框架卡点能力事后巡检研发效能pipeline代码扫描静态检测血缘检测监控检测数据用例代码规范代码质量代码性能变更点提示维度调度配置血缘配置基线监控配置表&分区配置表&任务规范血缘关系链路基线风险依赖风险生命周期监控覆盖率监控误报率告警跟进率链路覆盖率用例成功率数据异常卡点自动

6、化卡点自动化-代码扫描代码扫描规则配置 异常等级配置扫描执行 研发阶段：开发自查代码规范 代码治理 dataOps卡点通用规则配置自定义规则配置代码规范类语法规范禁止创删表代码质量类select和插入字段名称不一致关联ON字段类型不一致代码性能类禁止select*禁止DISTINCT禁止分区表全表查卡点阶段：强制整改加载规则信息 代码信息 表元信息 生成抽象语法树代码检测 结果分析数仓代码规范数据线上问题规则沉淀卡点维度代码质量分major问题同步整体框架卡点能力事后巡检研发效能风险模版卡点自动化卡点自动化-数据测