Delta Lake在BI+AI产品中的实践-final.pdf

1、Delta Lake在BI+AI产品中的实践演讲人：李迪砺观远数据研发主管2023 观远数据分析产品简介Delta Lake的应用实践总结和展望观远数据分析产品简介公司介绍成立于2016年，总部位于杭州 愿景：让业务用起来 让决策更智能 客户：联合利华、LVMH、招商银行、安踏、华润集团、扬子江药业、元气森林、小红书、蜜雪冰城等500+行业领先客户，分布在零售、消费、金融、高科技、制造、互联网等行业。数据分析产品简介 数据接入 自助取数 智能ETL 可视化分析 数据大屏 数据门户 复杂报表 移动轻应用 表单填报 增强分析 数据解释 数据应用客户案例某头部银行：4万+月活跃用户 查询性能9分位保

2、持在35秒 单日50万+spark任务 1万8千核的超大集群Delta Lake的应用实践Delta Lake的应用实践 数据湖架构介绍 Delta Lake的重要特性，以及如何应用 性能优化数据湖架构数据分析平台架构Delta Lake的重要特性 ACID 全量/增量更新 Schema管理 多引擎支持（Spark，机器学习，Java等）数据版本支持 分区 存算分离，支持多种存储方案（HDFS，S3，NAS等）流/批一体Delta Lake表结构 _delta_log元数据目录 json：单次commit日志 checkpoint.parquet：合并的commit日志 分区/数据文件 层次组

3、织ACID 原子性 Delta log控制提交原子性 一致性 乐观并发控制 3阶段机制（读取 写入 验证和提交）隔离级别 默认write serializable 持久性 底层存储服务保证（HDFS，S3，NAS等）并发控制 业务上如何减少并发错误的影响全量/增量更新 全量覆盖（overwrite）全量覆盖，初次加载或者重建表 增量更新（merge）基于时间或者其他属性的增量更新 追加新数据（append）已有数据不会发生变化数据接入方式 JDBC方式 对接方便，较为通用Hive表的优化 客户案例 Jdbc方式将Hive表转化为Delta Lake比较慢，如何优化？Hive表如何和Delta

4、Lake表进行ETL？高效加载和处理方式 通过spark直接加载hive表 需要处理hive表 schema变更(refresh table)Schema管理 schema 增强(schema enforcement)默认情况下，不允许追加schema不匹配的数据 schema进化（schema evolution）mergeSchema=true 什么时候使用schema evolution 表结构发生变更，不想重写整个表多引擎支持 Spark 核心处理引擎 大规模集群 高效任务处理 活跃的社区 良好的适配性 秒级响应 高并发多引擎支持 delta-rs 算法实验 通过 Rust 来实现与

5、Delta 交互的 API，上层实现Python的API 读取性能对比：小数据集上，性能是Spark的30多倍；千万行级别数据，delta-rs仍然优势明显 缺点：对写入支持不完善；存在bug Standalone Reader Java库 读取快照数据，和schema信息 缺点：欠缺维护，存在bug；不支持sql查询，写入时间旅行 算法实验中的场景 如何使用历史数据进行重复实验？分区 算法实验中的场景 如何通过分区提升算法实验的效率 分区字段选择 一般是date类型；需要检查值的分布 对于大表使用，每个分区数据至少1GB流式写入性能优化 小文件合并(compaction)大量小文件-少量大文件 定时清理（vacuum）结合时间旅行的版本使用情况 仅读取需要的列 持续升级版本总结和展望总结和展望 新的特性（Z-Order、DML增强等）更加云原生，融合多引擎（Databricks，Clickhouse等)更加开放，提供SQL查询服务 基于Catalog的数据资产管理 持续回馈开源社区 多位 Spark Contributor，Delta Lake Contributor、delta-rs Contributor感谢您的观看演讲人：李迪砺观远数据研发主管