AICon-Lance 从多模数据湖到记忆湖.pdf

1、Lance:Lance:从多模数据湖到从多模数据湖到 Agent Agent 湖湖面向 AI 数据底座的格式、能力与实践演讲人：马进Slide 01目录目录0000目录目录0101LanceLance：多模态数据湖格式：多模态数据湖格式0202核心特性与选型对比核心特性与选型对比0303多模态数据湖实践多模态数据湖实践0404基于基于 Lance Lance 的记忆湖的记忆湖0505总结总结0101什么是什么是 Lance LanceLance 解决的问题、定位、format stack 与发展历程0101Lance Lance 解决了什么问题解决了什么问题0101Lance Lance 的定

2、位不是的定位不是“又一个向量库又一个向量库”传统方案传统方案全文、向量、SQL、训练和评测分散在多套系统里统一查询统一查询Lakehouse 把 Vector+Full Text+SQL 收敛为混合查询能力统一访问统一访问PyTorch、Spark/Trino、Ray 面向统一数据底座。Slide 050101Lance Lance 是一组互操作规格组成的是一组互操作规格组成的 lakehouse format stack lakehouse format stackFile FormatFile Format Column pages/offsets/footer 服务随机访问Table F

3、ormatTable Format Fragments/versions/ACID 服务表级治理Index FormatsIndex Formats Vector/full-text/scalar indices 服务混合检索Catalog&NamespaceCatalog&Namespace Table discovery/coordination 服务跨引擎协同0101Lance Lance 的演进：开源格式成熟与火山生产实践并行推进的演进：开源格式成熟与火山生产实践并行推进Lance/LanceDBLance/LanceDB2022.082022.08Lance 开源2023.05202

4、3.05LanceDB announced/开源向量数据库20242024多模态 lakehouse 叙事成型20252025Lakehouse format stack NowNowFormat 2.2/Blob V2/Branch&Tag/NamespaceVolcano EngineVolcano Engine2024 H12024 H1AI 客户多模态诉求，内部POC，探索选型2024 H22024 H2EMR/TOS对接，社区共建2025 H12025 H1产品化和商业化获客，集团内部训练数据落地NowNow方舟/MLP/BH 对接，多行业与数十 PB 数据集社区格式能力持续成熟，火

5、山生产场景同步验证，让社区格式能力持续成熟，火山生产场景同步验证，让 Lance Lance 从开源技术选型走向从开源技术选型走向 AI AI 数据湖底座数据湖底座0202Lance Lance 核心特性，和同类选型对比核心特性，和同类选型对比随机访问、大宽列、表格式与 Format 2.20101多模态场景对湖存储提出四个新诉求多模态场景对湖存储提出四个新诉求大宽列大宽列多模态数据单值比较大，存储结构需要高效存储图像、音频、视频、点云等大列结构变更结构变更模型打标和特征工程会不断新增列或更新列，需要低成本 schema evolution混合存储混合存储结构化、JSON、非结构化对象和向量要

6、放在同一张可查询的数据表里随机点查随机点查训练 shuffle、样本回放、检索精排都需要稳定的 RowID 随机访问路径这些诉求共同指向：这些诉求共同指向：AI-native AI-native 的湖格式能力，而不是单点向量检索能力。的湖格式能力，而不是单点向量检索能力。0202Lance Lance 的核心能力围绕的核心能力围绕 AI AI 宽表、随机访问和混合检索构建宽表、随机访问和混合检索构建多模存储多模存储结构化、半结构化 JSON、非结构化对象、向量同表协同随机访问随机访问RowID 点查+自适应编码，降低训练 shuffle 和检索成本零成本加列零成本加列新增标签或特征时，无需重写