NoETL开启自动化数据管理新时代_周卫林_20240418.pdf

《NoETL开启自动化数据管理新时代_周卫林_20240418.pdf》由会员分享，可在线阅读，更多相关《NoETL开启自动化数据管理新时代_周卫林_20240418.pdf（28页珍藏版）》请在三个皮匠报告上搜索。

1、DataFunCon#2024NoETL开启自动化数据管理新时代周卫林Aloudata CEO个人介绍Aloudata 创始人&CEO原蚂蚁集团数据平台部总经理原蚂蚁集团研究员（P10）周卫林 参与并领导了两次数据仓库计算平台的升级 担任多个重要项目的 PM 和架构师，在公司层级产生了重大影响 整体负责集团数据工作，统一推进数据制度、文化、人才及产品技术建设 蚂蚁数据民主化主导者，从零构建了蚂蚁 BI、AI 工具产品体系，孵化出多个进入 Gartner、Forrester 领导者象限的拳头产品 创立大应科技（Aloudata），已完成包括红杉资本领投的两轮融资 目前已与数个行业头部企业达成业务

2、合作 入选2021全球金融科技创新 TOP30榜单；入选2023 大数据“星河”标杆案例2006-20122012-20212021-至今阿里数据平台 架构师蚂蚁数据平台部 总经理Aloudata 创始人&CEO从数字化管理到数智化运营，企业数据价值化之路公司年累计销售额完成比例同比环比管理驾驶舱考核指标部门线上年累计销售额：各渠道，占比线下年累计销售额：各区域，占比当月累计销售额当日销售额经营分析看板下钻拆解团队/员工渠道分析：天猫、抖音、京东、拼多多、商品分析：SPU、SKU、动销分析、首发、评价、会员分析：VIP、新/老、客单价、流失分析、转化分析：浏览下单转化率、交易失败分析、营销活动

3、分析业务自助分析明细数据运营决策圈人营销、库存优化、优惠券发放、渠道管理、广告投放、产品体验优化、人员招聘、供应链管理、AB 实验、搜索/推荐算法优化业务运营工作台数据接口从数字化管理到数智化运营，企业组织能力跃迁之路数智化运营IT供应商平台技术DT 供应商业务版块业务 BI业务版块业务 BI业务版块业务 BI业务技术DT管理决策商业 BI业务技术业务技术数字化管理IT供应商平台技术DT 供应商业务版块业务版块业务版块业务技术管理决策BI业务技术业务技术DT信息化建设IT供应商平台技术业务版块业务版块业务版块业务技术业务技术业务技术数智化带来企业数据管理复杂度指数级上升DB指标汇总表原始表原始

4、表原始表管理层分析师业务人员SQL广告系统推荐系统营销系统宽表宽表接口表接口表各种不同粒度的事实表原始表Log原始表原始表多来源，数据源爆炸明细事实表维表维表明细事实表多场景，用数需求爆炸文本、图片、视频日志数据库数据管道不断生长Endless data pipelines：分析灵活性不断下降，数据重复度快速上升数智化带来企业数据管理复杂度指数级上升DB指标汇总表原始表原始表原始表SQL宽表宽表接口表接口表各种不同粒度的事实表原始表Log原始表原始表多来源，数据源爆炸明细事实表维表维表明细事实表多场景，用数需求爆炸文本、图片、视频日志数据库DB指标汇总表原始表原始表原始表SQL宽表宽表接口表接

5、口表各种不同粒度的事实表原始表Log原始表原始表明细事实表维表维表明细事实表文本、图片、视频日志数据库DB指标汇总表原始表原始表原始表SQL宽表宽表接口表接口表各种不同粒度的事实表原始表Log原始表原始表明细事实表维表维表明细事实表文本、图片、视频日志数据库数据管道不断生长Endless data pipelines：分析灵活性不断下降，数据重复度快速上升基线破线次数越来越高挑战一：风险，数据可用性越来越难保障定位和解决问题越来越难基线治理效果越来越弱任务依赖链路越来越深治理拉群人数越来越多基线破线 仅以任务基线保障举例仅以任务基线保障举例风险挑战应对：任务基线可用性保障方案规划生产任务任务静

6、态代码基线任务任务告警存储资源、计算资源变更发布配置基线任务恢复基线破线基线延迟预警owner 应急owner应急延迟处理任务基线业务过程任务调度运行基线不可用数据时效数据质量事前上线即破线时间设置不合理链路运行未评估Owner经验不足人员无感知上线未通知变更未通知变更未管控代码变更未测试基线变更即破线基线暂停、下线事中风险晚发现槽位不足资源被占用任务当天未完成告警缺策略基线告警策略不足无兜底策略响应不及时电话未打通响应意识不足应急无预案应急不当典型预案缺失应急恢复工具缺失事后风险末识别任务时长不正常Owner未移交资源使用不合理基线准入管控基线发布管控基线巡检监控基线质量运营基线治愈演练基线