云音乐流批统一的低代码数据开发平台提效实践.pdf

《云音乐流批统一的低代码数据开发平台提效实践.pdf》由会员分享，可在线阅读，更多相关《云音乐流批统一的低代码数据开发平台提效实践.pdf（23页珍藏版）》请在三个皮匠报告上搜索。

1、流批统的低代码数据开发平台赵荣 2023年4易云乐数据平台现状和挑战1.1 平台架构 1.2 问题挑战 1.3 建设理念1场景化落地3.1 数据产品指标开发场景 3.2 索引构建场景 3.3 内容投放动化场景 3.4 CK使优化站式数据开发平台FastX2.1 背景 2.2 设计理念 2.3 效果 2.4 平台架构未来规划4.1 平台规划324数据平台现状和挑战1.1 平台架构 1.2 问题挑战 1.3 建设理念1场景化落地3.1 数据产品指标开发场景 3.2 索引构建场景 3.3 内容投放动化场景 3.4 CK使优化站式数据开发平台FastX2.1 背景 2.2 设计理念 2.3 效果 2.

2、4 平台架构未来规划4.1 平台规划324数据平台现状和挑战1.1 平台架构数据平台现状和挑战1.2 问题挑战产品1.易性2.多样性3.站式服务1.可、性能2.容错、兜底3.平扩展算1.存储成本2.计算效率3.稳定性4.管治运维数据1.准确性、安全性、易性2.建模、分析、使等具3.价值量化、治理4.应场景业务技术平台间接直接整合让数据效起来易性稳定性效率安全数据、平台、产品、服务流批任务、基础服务、数据链路算、ROI 动化、智能化容灾、权限、共享快速 准确 安全 低成本 可量化 可共享数据湖 流批体 CDC DataOps 云原 AI 边缘计算 数据建模 数据开发 数据服务 数据展示 数据质量

3、 数据共享 数据管治搜推 客户端 后台BI 内容 产运数据平台现状和挑战1.3 建设理念数据平台现状和挑战1.1 平台架构 1.2 问题挑战 1.3 建设理念1场景化落地3.1 数据产品指标开发场景 3.2 索引构建场景 3.3 内容投放动化场景 3.4 CK使优化站式数据开发平台FastX2.1 背景 2.2 设计理念 2.3 效果 2.4 平台架构未来规划4.1 平台规划3241.槛 使/语法/调优/debug 2.稳定性差 任务失败、延迟、反压等 3.标准化低 迭代困难/流批独维护1.运维成本 2.经验复性低 60%以上重复问题、档效率低 3.资源浪费严重 资源随意配置、缺少治理 4.数

4、据指标治理困难 缘缺失、价值难量化1.场景 数据回流、AB指标计算、曲库索引、内容监控等 2.处理逻辑 输+处理+输出（维度+指标）站式数据开发平台背景户有痛点平台有挑战场景有共性低代码1.可视化、可拖拽 2.屏蔽技术细节 3.所即所得 4.具化端到端1.整合数据上下游 2.数据缘补全 3.数据价值可量化场景化1.最佳实践产品化 2.经验可持续沉淀 3.扩展持各场景流批统1.流批逻辑层统 2.套配置两种计算站式数据开发平台设计理念2022.3项 业务场景为基础 数据模型为中 低代码开发平台2022.6核主体功能 可视化配置 流批体化配置 数据服务打通 数据回流场景2022.9功能扩展 AB指标

5、计算场景 维表关联功能 缘功能 UDF持2023.2功能完善 Debug功能 输/输出完善 OpenAPI完善 投放场景持站式数据开发平台效果业务场景 6+模型任务占 10%户数覆盖 20%+开发效率 天级 时级经验沉淀 20+边际效益2022.11场景扩展 索引场景 内容监控场景 视图表 OpenAPI持站式数据开发平台平台架构数据平台现状和挑战1.1 平台架构 1.2 问题挑战 1.3 建设理念1场景化落地3.1 数据产品指标开发场景 3.2 索引构建场景 3.3 内容投放动化场景 3.4 CK使优化站式数据开发平台FastX2.1 背景 2.2 设计理念 2.3 效果 2.4 平台架构未

6、来规划4.1 平台规划324流程1.经验难以沉淀和复2.CK/HBase等使不规范，Schema映射易出错3.Flink/Spark SQL开发调试困难，标准难统4.对接数据服务重复性作5.数据缝切换、CK按列写shard等功能不持开发时间：13天场景化落地及CK使优化场景1：数据产品指标开发问题新流程1.可持续性经验沉淀2.键导字段、键建表、键映射3.键成标准SQL和任务配置4.写CK键开启缝切换、按shard写等开发时间：30min3hr5.使缘、热度等信息上报6.缝动对接数据服务场景化落地及CK使优化场景1：