曹路阳-抖音电商数仓数据血缘探索和实践.pdf

《曹路阳-抖音电商数仓数据血缘探索和实践.pdf》由会员分享，可在线阅读，更多相关《曹路阳-抖音电商数仓数据血缘探索和实践.pdf（36页珍藏版）》请在三个皮匠报告上搜索。

1、DataFunCon DataFunCon#20242024抖音电商数据血缘探索和实践抖音电商数据血缘探索和实践曹路阳-火山引擎dataleap研发架构师ContentsContents目录目录数据全链路血缘血缘底座抖音电商血缘应用实践总结与展望数据全链路血缘数据全链路血缘介绍介绍全链路血缘全链路血缘：对数据从源头到终端的全过程进对数据从源头到终端的全过程进行追踪和管理行追踪和管理业务快速发展业务快速发展，你是否也遇到过类似的问题你是否也遇到过类似的问题业务快速发展，数据不断膨胀数仓开发提效数据一致性保证项目介绍项目介绍-血缘底座血缘底座整体架构整体架构质量评估体系质量评估体系应用层血缘应用层

2、血缘整体架构整体架构整体架构整体架构-架构图架构图整体架构整体架构-关系图谱关系图谱整体架构整体架构-模型设计模型设计点（Node）：代表各种类型的节点，如指标、任务等边（Edge）：表示节点之间的血缘关系，如数据流向、任务依赖等节点存储：每个节点类型对应一个或多个图中的点边存储：节点间的血缘关系通过边来表示，边包含方向和类型信息血缘质量度量体系血缘质量度量体系血缘质量度量体系血缘质量度量体系应用层血缘应用层血缘应用层血缘应用层血缘-介绍介绍应用层调用链路应用层数据采集方案应用层血缘应用层血缘-采集方案采集方案基于网关层日志采集+爬虫补全方案，实现自动化采集应用层血缘应用层血缘-采集方案采集方

3、案血缘应用实践血缘应用实践一站式新旧表切换一站式新旧表切换字段口径探查字段口径探查指标自动化拆解指标自动化拆解一站式新旧表切换一站式新旧表切换一站式新旧表切换一站式新旧表切换-介绍介绍一站式新旧表切换一站式新旧表切换-成果展示成果展示问题描述：进行大体量的旧模型切换到新模型的工作目的目的：最大程度降低切换者的工作量，提高切换发起者和执行者的效率和质量一站式新旧表切换一站式新旧表切换-技术实现技术实现自研sql生成能力，并保留原生sql结构字段口径探查字段口径探查字段口径探查字段口径探查-介绍介绍1、基于数据血缘，实现对同一链路上的多个sql inline成单个sql2、实现对复杂sql的可视化及字段裁剪能力字段口径探查字段口径探查-成果展示成果展示字段口径探查字段口径探查-技术实现技术实现指标自动化拆解指标自动化拆解指标自动化拆解指标自动化拆解-介绍介绍指标体系化管理人肉拆解耗时耗力指标自动化拆解指标自动化拆解-成果展示成果展示指标自动化拆解指标自动化拆解-技术实现技术实现总结与展望总结与展望总结及展望总结及展望总结及展望总结及展望展望未来展望未来，我们将继续深化数据血缘在电我们将继续深化数据血缘在电商领域的实践商领域的实践，具体方向包括具体方向包括：谢谢观看谢谢观看扫码进入官方交流群扫码关注公众号