第三代指标平台如何做轻数仓_大应科技杜雪芳_20240419.pdf

1、D Da at ta aF Fu un nC Co on n#2 20 02 24 4杜雪芳Aloudata 合伙人&首席业务架构师第第三三代代指指标标平平台台如如何何做做“轻轻”数数仓仓D a t a F u n 上海站嘉宾专享C Co on nt te en nt ts s目目录录1.ETL 的原罪与 NoETL 的全新思路2.第三代指标平台的能力与价值3.第三代指标平台做“轻”数仓实践D a t a F u n 上海站嘉宾专享0 01 1.E ET TL L 的的原原罪罪与与 N No oE ET TL L 全全新新思思路路D a t a F u n 上海站嘉宾专享应应对对数数智智化化分

2、分析析需需求求，反反范范式式 E ET TL L 加加工工不不堪堪重重负负D DB B指标汇总表原始表原始表原始表管理层分析师业务人员SQL广告系统推荐系统营销系统宽表宽表接口表接口表各种不同粒度的事实表原始表L Lo og g原始表原始表多多来来源源，数数据据源源爆爆炸炸明细事实表维表维表明细事实表多多场场景景，用用数数需需求求爆爆炸炸文本、图片、视频日志数据库从数字化管理到数智化运营，数据管道不断生长（Endless data pipelines），数据管理难度上升D a t a F u n 上海站嘉宾专享E ET TL L 工工程程陷陷入入“效效率率、质质量量、成成本本”的的不不可可能能

3、三三角角效效率率ETL 环节成为数据分析效率的核心瓶颈业务需求反复沟通，更迭，排期，实施需求响应时长大于 2 周80%的数据需求没有被有效满足计算存储成本高，ROI 低，人效差面向场景重复构建相似宽表，引发宽表爆炸超过 70%的宽表字段有更新未使用宽表更新、查询消耗大量存算成本质质量量指标不一致、数据不一致严重影响业务决策同一指标不同数据开发链路，指标口径不一致同一指标口径变更涉及多张表，变更遗漏低质量低效率高成本不不存存在在成成本本D a t a F u n 上海站嘉宾专享如如何何将将效效率率、质质量量、成成本本的的不不可可能能三三角角，变变成成可可能能？人人工工-N No oE ET TL

4、 L 自自动动化化 不不开开发发宽宽表表汇汇总总表表D a t a F u n 上海站嘉宾专享人人工工开开发发宽宽表表汇汇总总表表 -N No oE ET TL L 自自动动化化的的核核心心技技术术能能力力数数仓仓应应用用层层 N No oE ET TL L，做做“轻轻”数数仓仓语语义义化化强大的指标定义能力强强大大的的语语义义模模型型和和函函数数能能力力，复复杂杂指指标标实实现现配配置置化化定定义义，实实现现数数据据加加工工者者与与消消费费者者隔隔离离，做做轻轻数数仓仓自自动动化化自动的指标开发基基于于自自研研的的物物化化加加速速引引擎擎，I IT T 无无需需开开发发宽宽表表与与汇汇总总表

5、表，系系统统自自动动编编排排、物物化化与与回回收收数数据据D a t a F u n 上海站嘉宾专享语语义义化化指指标标定定义义的的6 6大大核核心心核核心心能能力力1 1基基于于数数据据模模型型的的标标准准化化指指标标定定义义构构建建数数据据模模型型构建数据表逻辑关系统统一一指指标标要要素素原子指标/时间限定/业务限定/衍生方式/维度指指标标要要素素组组合合派生指标=原子指标+时间限定+业务限定+衍生方式2 2基基于于函函数数体体系系灵灵活活进进行行指指标标定定义义通通用用函函数数体体系系文本、数学、时间、聚合逻辑函数等窗窗口口函函数数体体系系排名、累计、位移、滑动等分分析析函函数数体体系系

6、预聚合函数、计算调节函数、快速计算函数等3 3基基于于多多层层次次多多聚聚合合构构建建依依赖赖 D DA AG G基基于于复复杂杂指指标标构构建建多多层层次次的的依依赖赖 D DA AG G基基于于 N No od de e 定定义义统统一一的的查查询询要要素素多多聚聚合合依依赖赖关关系系构构建建4 4基基于于指指标标要要素素构构建建查查询询 S SQ QL L指指标标要要素素转转计计算算N No od de e基基于于计计算算 N No od de e 构构建建完完整整 S SQ QL L5 5基基于于指指标标定定义义对对S SQ QL L 进进行行优优化化基基于于指指标标计计算算的的优优化