宣宇-美团万亿级对象存储挑战和实践探索.pdf

1、宣宇目录规模：万亿级对象、EB级存储场景：静态资源、多媒体数据、文档、模型、备份等增速：50%100%/年Proxy：协议解析，文件切片和合并，限流等，无状态节点Objectmanager：对象管理，生命周期、垃圾数据清理Store：单机存储引擎，追加聚合成大文件存储，数据冗余持久存储，后台任务执行Storemaster：节点管理、全局负载均衡、后台任务调度等MetaDB：类LSM的数据库从开源的openstack swift到自研系统MetaDB为瓶颈：每日写入量、扫描流量、事务冲突业务之间相互干扰严重，爆炸半径过大对象管理和存储管理单点成为瓶颈Proxy缓存效率低垃圾数据的GC效率低、成本

2、高异构存储硬件的管理复杂度高面临的挑战对象元数据与存储元数据分离每个对象分组有独立的proxy、objecmanager和metadb每个对象分组共享底层存储每个分组承担若干租户/桶的请求对象处理单元分组数据存储划分多个独立的单元每个单元有独立的store、storemaster和metadb每个单元存储若干个租户/bucket的数据一个单元内的机器硬件保持统一数据的冗余副本不能跨单元分组支持存储单元分组故障降级数据存储单元分组请求大小差异：文件大小差异大，HTTP Range客户端影响：流式传输，收发包快慢连接不均匀：网关转发策略、慢节点等性能开销：不能影响吞吐和时延流量控制面临的挑战业务诉

3、求：吞吐承诺，流量不能过高业务趋势：内网流量超千万GB/天，避免突发流量的影响流量控制的背景基于中心统计节点的精确限流：统计节点为瓶颈、流量倾斜、连接饥饿基于平均分布的单机限流：误差大常见方法的问题低并发场景基于中心统计方式实现流量token分配高并发场景下按节点平均分配流量token，并且要有机制校正误差解决思路限流周期：秒级，轮换中心限流节点中心限流节点统计：连接数+已使用token数限流粒度：proxy按照bucket级别预取限流token连接倾斜和饥饿：基于上一个限流周期的连接数校正，并控制校正幅度具体做法对象切片：proxy将对象切割成不超过2MB的record追加存储：不同的rec

4、ord追加到partition实现冗余存储对象读取：proxy拼接多个record返回给clientPartition冻结：写满256MB后冻结持久化索引和CRCchecksumPartition GC：record标删，多个partition合并来实现清理垃圾数据后台EC：多个partition实现后台转EC基本存储模型不能给client返回错误的数据尽快发现错误的数据，并利用冗余机制进行修复防止错误数据扩散确保持久存储的数据与client一致数据持久性需要解决的问题对象文件大小范围大保证http首包延迟http range请求不返回错误的数据：record CRC 校验温热数据：读取rec

5、ord时校验冷数据：周期性chunk crc校验尽快发现错误数据巡检周期控制在半个月以内每个硬盘挑选一个chunk组成一个集合条带式增量计算chunk crc减轻硬盘的压力低峰期执行，减轻对前台IO的影响隔离问题chunk并修复周期性chunkCRC校验副本恢复/迁移：chunk级crc校验GC:写入时流式计算record crc校验EC：基于record CRC进行数据源和目标文件校验防止错误数据扩散3个副本挑选1个chunk副本获取有效record计算节点聚合多个chunk的有效record目标存储节点写入时流式校验record CRC和index完整性GC流程举例：Record的多副本写

6、入：落盘前CRC校验Proxy：流式计算切片CRC，持久化并响应全链路CRC校验写入有瓶颈，难以满足业务需求大量tombstone记录导致scan消耗过多资源，容易超时并且影响其他非scan操作业务存在大量的元数据扫描，影响元数据稳定性事务冲突，消耗资源，影响访问稳定性慢请求会耗尽客户端的SQL连接池过往运营的痛点类LSM架构，仅支持L1，提供SQL接口增量数据采用主从多数派实现，并支持事务L1 SST 数据支持多副本存储，可以隔离不同操作请求流量不支持墓碑检测和优化MetaDB的特点LSM的tombstone问题