傅正佳加速 Agentic Memory.pdf

《傅正佳加速 Agentic Memory.pdf》由会员分享，可在线阅读，更多相关《傅正佳加速 Agentic Memory.pdf（30页珍藏版）》请在三个皮匠报告上搜索。

1、演讲嘉宾：Alluxio首席架构师傅正佳加速 Agentic Memory:在 PB 级数据湖上实现Parquet 查询 1000 倍性能提升目录01背景介绍02Alluxio的哲学与核心技术03如何实现01 背景介绍挑战：在PB级数据湖上进行亚毫秒点查询？执行点查找查询，例如“SELECT ID，DATA FROM TABLE WHERE ID=123”目标：分区的 iceberg 数据湖（Parquet）为数十PB甚至数百PB在对象存储（例如S3)上在亚毫秒范围内数据湖数据湖应用为什么这很重要Agent 记忆：-AI Agent需要立即回忆大量的历史知识和上下文。在线特征库：-实时推理需要

2、立即访问新的、相关的特征。实时个性化与推荐：-在毫秒内提供个性化体验是用户粘性和转化率的关键。这些用例推动了对大规模数据的极低延迟访问的需求。常用方法及其限制：OLAP引擎工作原理：通过OLAP引擎直接对S3 Parquet执行点查询。优点：-成熟生态系统，得到良好支持。-处理复杂的分析。缺点：-Overkill：对于简单的键值查找任务，流程过重-高延迟和并发：查询规划、调度和完整的Parquet扫描开销使得亚毫秒无法实现。数据湖数据湖Agent 应用查询引擎查询引擎常用方法及其限制：In-Memory KV store工作原理：将表或相关数据部分导出到 In-Memory KV store中

3、优点：-低延迟：快速键值访问。缺点：-数据规模大时成本无法承担：将PB级数据装入内存的成本极其昂贵。-数据同步复杂性和数据陈旧性：需要ETL pipeline，导致数据滞后和一致性问题（“Dual-Store问题”）。-操作开销：管理两个独立的数据系统。In-Memory KV storeIn-Memory KV store数据湖数据湖数据副本Agent 应用导入“Parquet 存储在S3上”：为什么它不是原生的亚毫秒级？工作原理：Parquet文件是自索引的，我们可以直接对它们进行点查询吗？潜在的延迟瓶颈：多回合到S3对象存储的往返时间（RTT）。行/页码解码开销。结果：p95延迟通常 3

4、00ms，远非亚毫秒。数据湖数据湖应用02 Alluxio的哲学与核心技术关键功能：统一的存储接口Alluxio命名空间AWS美国东部-1/DataUsersAliceBobs3:/bucket/UsersAliceBob本地数据仓库hdfs:/service/salesdataReports SalesReports SalesAlluxio可以视为一个逻辑文件系统多个不同的存储服务可以被mount到同一个逻辑Alluxio命名空间中Alluxio命名空间的逻辑地址和持久化存储系统的地址一一对应alluxio:/Data/Sales hdfs:/service/salesdata/Sales

5、用户可以选择Alluxio逻辑地址或原始存储地址关键功能：可扩展的分布式缓存AlluxioWorker NAlluxioWorker 2大数据查询大数据ETL模型训练AlluxioWorker 1ABs3:/bucket/file1s3:/bucket/file2CACB基于Hash算法选择worker节点Alluxio AI 核心技术特点vAPPAPPLLMAPPvAPPAPPLLMAPPTOS统一数据视图alluxio:/host:port/cephminioossOSSNAS高性能数据访问自动冷、热分层零侵入分布式缓存高性能I/O丰富缓存数据管理高可用高容错丰富协议支持S3 Driver

6、HDFS DriverGCS DriverAzure DriverOSS DriverS3 APIHDFS APIPOSIX APIJava APIREST APIPython SDKCOS Driver被全球领先企业信赖，以加速数据和人工智能A screenshot of a phone Description automatically generatedA screenshot of a phone Description automatically generatedA screenshot of a phone Description automatically generatedA