专场16.1-字节跳动数据质量管理实践：流批数据质量解决方案-何舒青（脱敏版）.pptx

《专场16.1-字节跳动数据质量管理实践：流批数据质量解决方案-何舒青（脱敏版）.pptx》由会员分享，可在线阅读，更多相关《专场16.1-字节跳动数据质量管理实践：流批数据质量解决方案-何舒青（脱敏版）.pptx（27页珍藏版）》请在三个皮匠报告上搜索。

1、抖音集团数据质量实践,何舒青火山引擎DataLeap数据质量技术负责人,火山引擎DataLeap流批数据质量解决方案,1.数据质量挑战2.解决方案3.最佳实践4.未来演进方向,大纲,什么是数据质量(广义),定义：数据的一组满足固有特性(质量维度)要求的程度,六维度：完整性准确性一致性及时性规范性唯一性,数据质量在抖音集团内部(狭义),数据质量平台针对数据及其生产链路的数据质量管理平台代表功能对数据开发平台产出的 Hive 表数据进行主键重复检测，如果存在重复则进行报警典型场景,注：上图标红文字表示抖音集团数据质量平台具有的功能,应用规模-监控规模：万级别-DAU：千级别,数据任务产出Hive表

2、但是因为HMS 主从延迟,下游任务会读到脏数据，质量监控发现异常，阻止下游任务运行。,01,内部挑战,7,数据质量挑战,User Story 1：某内部指标平台，业务数据由Hive定期同步到ClickHouse；希望每次同步任务后检查Hive与ClickHouse中的指标是否一致；如果不一致，报警并熔断任务,User Story 2：某流量级产品商业化系统，M级日志条数/秒；希望秒级监控日志延迟、关键字段空值，T+1检测日志波动率；,User Story 3：某数据开发团队希望能够规范化数据上线流程；数据上线报告中必须产出新旧数据对比报告。,数据质量挑战,需求场景复杂,海量数据,有限资源,VS

3、,02,解决方案,产品功能架构,离线数据质量监控-解决批和微批监控场景流式数据质量监控-解决流式监控场景数据探查-解决数据内容探查场景数据对比-解决新旧表数据不一致场景,产品功能简介,离线数据质量监控,实时数据质量监控,数据对比,系统架构,图片区域,整体技术框架,Scheduler-外部调度器，触发离线监控Backend-后端服务，服务层Executor-执行器，计算单元Monitor-状态流转服务，提供重复报警等功能Alert Center-外部报警服务，接收各种报警事件,离线数据检测流程,图片区域,离线数据监控、探查、对比，执行流程一致：1.监控触发调度系统调用质量模块Backend AP

4、I2.作业提交Backend以Cluster模式提交Spark作业至Yarn3.结果回传作业结束(成功、失败)，Driver将结果sink 至Backend4.消息触发Backend 根据结果触发相应动作(eg:报警、消息提示),优劣,劣势：1.非CPU密集型查询较重不需要启动Spark的作业仍会启动一个Spark作业，如ES SQL 查询2.依赖Yarn做调度稳定性不够高,优势：1.调度系统低耦合低相比于其他直接依赖于调度系统执行监控2.事件触发，高效；Backend水平扩展能力强事务需要处理好3.没有Quota 限制把Quota 问题转化为用户资源问题,流式监控执行,图片区域,流式监控流程

5、：1.根据规则定义，创建Flink作业2.根据报警条件，注册Bosun报警事件3.Flink作业消费Kafka数据，计算监控指标写Metrics4.Bosun基于Metrics的时序数据，定时检测，触发报警5.Backend接收报警回调，处理报警发送逻辑,Executor 实现,图片区域,注：Executor 基于Apache Griffin 项目中的 measure 改造,Executor(Griffin Measure)是一个Spark Application功能包括：-适配Data Source-数据转化为DataFrame-规则转化为sql操作-计算结果选型原因:-扩展性强，可适配hi

6、ve/mysql等不同data source-计算性能强-支持多种监控类型,改造：-改造Source、Sink 使其能够通过Http 访问远程API-部分功能增强、修改，eg：支持正则表达式-流式监控从Spark Engine切换为Flink Engine，优化整体流式监控方案,Monitor 实现,功能：-提供重复报警、消息失败重试功能-提供executor 心跳异常检测功能架构要点：有状态服务，主节点对外提供服务；主备保证HA接收Backend事件：监控失败、报警内存定时队列，事件性触发机制,03,最佳实践,表