李劲松-流批一体数据湖的云原生挑战.pdf

1、演讲人：李劲松 阿里云数据湖平台负责人流批一体数据湖的云原生挑战数据湖落地实践01云上数据湖挑战02云原生湖产品化03目 录CONTENTS数据湖落地实践存储的弹性、计算的弹性云上数据湖半结构化支持、元数据管理非结构化数据湖赋能 AI流批一体、湖仓一体实时数据湖针对湖格式的设计数据湖元数据数据湖快速发展的 2025您公司的LOGO1Paimon无主键表，支持流写流读自动小文件合并流式日志入湖2Paimon主键表，流写异步CompactionDB/KafkaSchemaEvo&整库同步流式更新入湖3聚合/部分更新MergeEnginesLookupChangelog-Producer流读全链路流

2、计算构建实时低成本流批一体的数据湖1.流式日志入湖已成为企业标配2.流式更新入湖大部分企业落地3.全链路流计算少部分场景实践流式数据湖落地实践您公司的LOGO流式更新入湖方案一：ODS 镜像表流式写入主键表主键表DatabasesLogsCREATECREATE TABLETABLET(order_id STRING,price DOUBLE,page STRING,user STRINGshop_id STRING,PRIMARYPRIMARY KEYKEY(order_id)WITH(bucket=10)整库同步批读批写凌晨调度非主键分区表非主键分区表流式更新入湖方案二：ODS 镜像表+T

3、ag批读批写读取 Tag非主键分区表非主键分区表流式写入主键表主键表DatabasesLogsCREATECREATE TABLETABLET(order_id STRING,price DOUBLE,page STRING,user STRINGshop_id STRING,PRIMARYPRIMARY KEYKEY(order_id)WITH(bucket=10,tag.automatic-creation=process-time,tag.creation-period=daily,tag.creation-delay=10 m)整库同步自动 Tag 依赖 Snapshot 的生成也可以

4、写脚本凌晨打 Tag流式更新入湖方案三：ODS 明细表流式写入分区表分区表DatabasesLogsCREATECREATE TABLETABLET(op STRING,-I or U or Dop_ts TIMESTAMP,op_dt STRING,order_id STRING,price DOUBLE,page STRING,user STRINGshop_id STRING)PARTITION BY(op_dt)WITH(bucket=2,bucket-key=order_id)整库同步批式合并凌晨调度非主键分区表非主键分区表流式写入主键非分区表主键非分区表云上数据湖挑战湖表元数据管理

5、的问题Hive Metastore 的问题：针对 Hive 设计，与当前的湖表理念有较大差别 权衡模型绑定了 Ranger，较难统一 RBAC 和审计 元数据无法理解湖表：Snapshot、Branch 等概念 较难扩展，比如湖与 AI 的结合需要扩展元数据Unity Rest APIIcebergIceberg Rest API主键表成本与实时的权衡Bucket 配置Checkpoint Interval对象存储请求费用 实时：Checkpoint 间隔越小越好 成本：OSS 的请求费用越少越好 Bucket 配置成“合适”的个数最佳主键表 Compaction 管理的难度Compactio

6、n 是最大的难点：Inline Compaction 导致写入不稳定(异步也会影响)Dedicated Compaction 消耗资源大，云上需加锁云原生湖产品化Paimon REST API SDK 开源开放标准化 REST 跨语言对接访问Paimon REST Catalog RBAC 统一权限管理 表提交自动解冲突 自动统计信息收集 管理分区&分支&快照 统一管理数据及 AI计算集群使用开源开放 SDKPaimonRESTAPI标准FileIOSDKREST Serve