马年圣-蚂蚁实时数仓体系升级实践.pdf

1、马年圣蚂蚁实时数仓体系升级实践蚂蚁实时数仓体系升级实践The upgrade practice of Ant real-time data warehouse升级背景升级背景#1实时数仓体系实时数仓体系#2实时保障体系实时保障体系#3实时实践案例实时实践案例#4未来规划未来规划#5#1#1升级背景升级背景升级背景构建实时资产优化开发链路提高保障能力打通消费链路升级研发平台新增任务100%基于Blink引擎研发夯实基础能力并增强研发规范管控规范化实时开发链路任务、资源集中管理增强稳定性保障措施构建数据质量监控15%增强实时中间层逻辑和资产沉淀指标规范化生产，构建实时逻辑化建模能力实时元数据与消费

2、场景打通，构建实时消费生态收口实时数据消费链路，实现资产生命周期全监控基础资产消费生产研发能力补齐核心资产构建消费链路打通逻辑化标准建模基于新资产的逻辑化注册完成，上挂资产符合规范建模定义实时逻辑表元数据打通下游消费链路，构建基于逻辑表的实时数据分析和服务下游所有消费全部基于数据分析(OLAP)和数据服务(OLTP)两大场景构建基于逻辑表的规范实时数据建模与自动化生产基于逻辑表的流批一体能力构建基于逻辑表的生产管理消费生态体系构建完成项目域、计算、存储资源集中管理初始化存量实时任务重构改造，新增实时任务开发管控任务研发与资产规范完善，符合要求的新资产可复用实时研发平台基础开发能力补齐实时任务稳

3、定性保障、实时数据质量能力构建体系升级演进历程#2 2实时数仓体系实时数仓体系基于逻辑表的实时数仓体系物理表实时数据分析(OLAP)实时报表配置数据应用接入智能实时异动实时数据服务(OLTP)实时接口定义资产元数据打通资产服务复用资产管理资产可视化统一资产服务资产分级管控资产合规监控实时资产血缘实时保障逻辑化层存储层SlsExplorerHbaseBlink数据源线上日志数据库日志实时消息DQC质量巡检异源数据比对主备一致性监控场景基线保障任务运行监控数据服务层Odps元表数据源定义物理表定义字段定义引擎层流批一体产品化自动化资产构建资产即服务核心资产构建规范建模事实逻辑表维度逻辑表贴源逻辑表

4、应用逻辑表汇总逻辑表实时数据开发链路ODSDWD DIMDWSADM离线体系BLINKDrcAntqOdpsSlsHbaseSlsExplorerHbaseUcsExplorerHbaseLindorm统一数据查询服务回流离线回流离线实时维表实时维表OdpsOdps维表维表LambdaLambda（可选）（可选）维表回流维表回流BlinkBlinkBlink数据库增量数据消息中间件信息.BlinkKeplerSlsHbaseExplorerHbaseLindormBlinkKepler数据应用aSls网关采集数据统一链路实时建模与规范APADM高保数据规范任务命名规范指标命名规范物理模型规范数

5、据源规范APODS资产专题资源治理规范校验唯一性校验模型元表化APCDM实时指标数据模型计算资源存储资源模型评审标签开发规范DWSDWDDIM模型元表化实时元数据基础构建逻辑化能力的基础实时数据权限管理实时指标规范定义基于任务+元表的实时数据血缘构建场景+基线能力基础减少实时数据表重复定义资产唯一性校验实时资产数据可查询物理存储schema信息定义屏蔽存储介质的物理信息解耦物理存储和计算任务物理源封装统一定义元表血缘模型管理资产可视化逻辑化基础元数据实时元表资产唯一性数据源元表资产唯一数据源标识+数据源链接物理表名实时资产逻辑化资产消费资产构建资产管理基于实时逻辑表的服务消费实时资产逻辑化生产

6、+管理+消费基于实时逻辑表的智能化研发基于实时逻辑表的数据管控逻辑化资产构建数据源定义物理模型定义指标定义逻辑模型数据单元数据板块构建空间物理项目物理模型管理视角物理模型视角业务建模视角1:N1:N1:NN:1挂载板块、单元规划元表定义实时任务研发逻辑表注册逻辑表管理实时元表事实逻辑表维度逻辑表统计周期原子指标业务限定统计粒度指标(派生指标/衍生指标)自动化资产构建流批一体future逻辑化消费链路实时报表分析数据服务查询在线数据查询逻辑表权限服务实时报表配置数据分析接口在线实时特征数据应用报表服务定义数据查询逻辑表查询引擎sls_dws_ap_trd_