B站数据质量保障体系建设与实践.pdf

1、演讲人：胡峰BiliBili资深研发工程师 2023 CONTENTS背景目标体系架构案例分享未来展望背景目标背景目标背景目标第一阶段第一阶段OLTP（联机事务处理）需求第二阶段第二阶段OLAP（联机分析处理）需求第三阶段第三阶段解决BI和报表需求第四阶段第四阶段系统对接OLTP（事务处理）和OLAP（报表分析）的需求主要解决数据业务化的能力 数据库阶段数据库阶段数据仓库阶段数据仓库阶段数据平台阶段数据平台阶段数据中台阶段数据中台阶段数据日渐受到重视业务涉及库表复杂化单库无法满足分析需求数据量快速增长引擎、组件多样化开始引入开源生态业务多样化能力服务化数据智能化建设阶段建设阶段演进变化演进变化

2、设计测试用例数据正确性验证数据库监控和调优完整性、准确性一致性、及时性保障架构、链路可用性数据加工链路多样化（实时）兼容历史各阶段兼容历史各阶段拥抱前沿技术演进浪潮拥抱前沿技术演进浪潮（流批一体等）（流批一体等）质量保障质量保障B站数据建设演进事务是持续发展的，数据保障的演变也是如此事务是持续发展的，数据保障的演变也是如此背景目标背景目标数据应用数据中台数据平台埋点分析看板运营分析看板B端分析看板模型构建指标规范实时计算机器学习集群管理数据源账户系统埋点数据CRM第三方离线计算增长分析看板内容分析看板数据同步数据开发数仓规划数据开发套件BOSS看板更多应用数据治理数据血缘数据质量数据安全数据地

3、图数据资产管理数据集成运维中心.日志分析标签服务用户画像社区分析营销分析增长分析用户主题域交易主题域内容主题域营销主题域社区主题域XX主题域全域数据中心统一IDOneData数据模型数据标签体系中台架构背景目标背景目标问题反馈分析看板页面数据迟迟没有展示透出，影响用数体验任务报错日志看不出原因，不知如何处理集群问题导致数据大批量报错、延迟，修复费时费力数仓架构繁杂，质量保障不知从哪里下手所分析指标某日归零是否合理，影响业务决策数据质量保障意识薄弱流任务保障流程和成本高夜间值班告警电话又被打爆了，起夜率爆表背景目标背景目标相关方诉求数据能在预期时间前产出提供的数据准确可信数据出现故障支持快速恢复

4、数据潜在的异常可快速定位晚于业务发现数据异常，导致影响已传导到数据应用.数据使用方数据使用方庞杂的数据体系中，哪些用户针对哪些数据有强诉求明确获知用户的数据质量和时效性要求保障工具可以全面赋能提效.数据建设方数据建设方数据管道中各组件、平台对流经数据，明确区分重要性不同场景的保障要求是什么极端情况下的恢复响应要求日常响应机制能否满足业务.数据管道方数据管道方通过数据质量的持续改善，减少事故纠错成本，降低数据使用风险，提升业务服务满意度通过数据质量的持续改善，减少事故纠错成本，降低数据使用风险，提升业务服务满意度背景目标背景目标根源梳理010102020404质量问题产生原因质量问题产生原因技术

5、原因技术原因数据标准制定数据模型设计数据采集过程数据清洗加工业务原因业务原因业务理解不到位业务流程的变更数据输入不规范0303管理原因管理原因流程管理不完善成员意识不到位奖惩机制不明确推进原因推进原因保障工作落实不到位历史问题可能会复现没有长期可持续策略背景目标背景目标痛点总结0101 保障范围及目标不清晰0202 保障效果无法有效衡量各方团队对需保障数据范围不清晰，部分核心链路无日常保障数据保障分级不准确，导致无法有区分度的进行人力投入保障随着数据建设推进，架构日趋复杂，保障目标没有拆解到各组件，预期效果自然不尽人意保障工作好像做了很多，在整体目标层面贡献如何，无法衡量当前保障推进到什么阶段

6、，没有北极星指标衡量及持续优化保障问题多是单例跟进，没有形成可衡量的持续优化方法论0303 保障机制及规范不完善过往案例多是单点保障，数据上下游链路缺乏保障协同机制跨部门平台保障机制不完善、流程缺失，跟进负责人模糊没有形成公司层面的数据保障规范、复盘定级机制，不利于历史事件问题收敛背景目标背景目标保障目标准确识别核心数据场景，支持数字化衡量保障效果、提升点待办事项信息数据满足四大基础原则（完整性、准确性、一致性、及时性）、各场景的通用、定制化使用要求数据保障贯穿全生命周期（事前、事中、事后）+全生产链路（生产、传输、加工、组装、服务）数据中台具备足够完善的工具能力，支持在预防、响应、处理、恢复