yuyang腾讯云(3).pdf

1、演讲嘉宾：于飏腾讯云高性能存储腾讯云高性能存储 GooseFSGooseFS 成为成为 AIAI 存储新范式存储新范式目录目录0 1以以 GooseFSGooseFS 为中心的云为中心的云端端 AIAI InfraInfra 架构架构0 2远端加速存储的冷热一体化远端加速存储的冷热一体化0 3多模态数据存储面临的困境多模态数据存储面临的困境与性能优化之路与性能优化之路0 5面向完全云原生的演进面向完全云原生的演进0 4安全与高可用的加速存储安全与高可用的加速存储0 1 以以 GooseFS GooseFS 为中心的云为中心的云端端 AI Infra AI Infra 架构架构腾讯云 AI In

2、fra 上的智算架构 以 GooseFS 为中心的云端多级加速存储 210 x210 倍性能提升三级加速：GooseFS ：计算端 -缓存加速COS加速器：AZ端 -数据加速元数据加速：存储端 -元数据加速GooseFS 的内核架构 GooseFS 的 Master 负责管理整个文件系统元数据缓存 Block 的元数据集群中的 Worker 信息GooseFS 的以上元数据均基于 RocksDB 来进行缓存GooseFS Master 使用 Raft 协议实现状态机的持久化和同步，实现高可用worker 负责响应 Client 发来的数据流请求，将数据流写入到对应的 Block 和 UFS 中

3、，或是返回对应的 Block 或 UFS 输入流 用于返回给 Client 读取同时，Worker 还负责管理分层缓存介质，可以根据读取策略，调度 Block 的存储介质GooseFS 在 AI 大模型场景下的典型应用架构GooseFS 在湖仓分析下的典型应用架构Data Cache:支持Hive Table Level预热，面向业务加速；支持Iceberg Table Leve预热；支持Prefix Level预热，按目录加速；支持多种数据缓存淘汰策略，LRU/LRFU/TTL；支持缓存数据同步/异步写入COS；Metadata Cache：避免了大量的list operations；提高了

4、Metadata 访问性能；0 2 云端加速存储的冷热一体云端加速存储的冷热一体化化云端缓存在冷热一体 IO 场景下的困境更多的是没有固定范围的即时搜索和查询当前多数客户的离线分析与训练业务大多采用闲时预热方式，按照即将访问的分区路径来预热。在真正地云端加速存储系统当中是没有明确的热分区在真正地云端加速存储系统当中是没有明确的热分区做提前预热做提前预热云端缓存在冷热一体 IO 场景下的困境128MB 大小的 Block 的未预热缓存的测试在缓存冷启动期间，面对带索引区段的数据也将面临极大地性能损耗，完全无法应对！开始尝试缩小 Block 的大小确实看到缓存生效时间快了很多带来的问题是带来的问题

5、是 Master 元元数据负载的数据负载的 128 倍膨胀倍膨胀引入 Page 存储设计，解决 Block 存储的冷启动放大采用多级元数据管理，将采用多级元数据管理，将 Block 拆散成若干拆散成若干 Page 页，由页，由 Worker 管理管理 映射映射 没有给没有给 master 增加任何负担的前提下，在增加任何负担的前提下，在 Worker 上实现了上实现了 Block 到到 Page 的拆的拆分；分；同时细化了同时细化了 Block 上的锁粒度，使得在单个上的锁粒度，使得在单个 Block 上的并发读变得更高了（比如上的并发读变得更高了（比如 Block 一部分在缓存，另一部分在一

6、部分在缓存，另一部分在 UFS 上的情况）。上的情况）。2029.756997.25 2201本地 LOCAL 小缓存GOOSEFS BLOCK 缓存GOOSEFS PAGE 缓存实际生产的实际生产的 Big Query 响应时长响应时长/s降低超过65%与本地 Local 小缓存持平突发性全表扫描场景下的顺序读优化突发性全表扫描场景下的顺序读优化 （NASNAS2424）Block 与与 Page 两种存储模型的两种存储模型的 IO 对比对比对于 Block 而言，找到对应的 Block 文件以后直接将整文件映射后的句柄返回即可，而 Page 文件则会频繁地打开关闭，且无法映射（Map 开销