2019年国美千亿级Redis集群架构变迁的思考.pdf

1、历史背景2应用应用效率效率跨业务缓存利用缓存利用成本高：不知道、找不到、看不懂技术发展重复造轮，底层支撑复杂度底层支撑复杂度高分散兼职维护,核心技术核心技术沉淀弱资源管理集群分散，体系化治理复杂度高，统一管理难度大硬件资源分散，综合利用率综合利用率偏低建建设设GcacheGcache各业务团队，各自建立集群20142014双双1111前前Gcache1.0正式上线经历双11大促20152015Gcache2.0正式上线20162016Gcache3.0正式上线20192019Gcache4上线一致性Hash环一致性Hash环RedisClusterRedisClusterProxy封装中间件客

2、户端封装中间件客户端+ProxyProxy456Gcache1.0的问题7性能延时问题proxy管理混乱Gcache28Gcache2.0问题9管理混乱管理混乱数据倾斜数据倾斜性能性能去中心化去中心化Gcache3逻辑部署架构图10为什么又添加了proxy？Gcache3 特性平滑扩缩容平滑扩缩容平滑跨集群平滑跨集群迁移迁移动态调整主动态调整主从读权重从读权重流控流控支持兼容支持兼容redisredis协议客协议客户端户端面临的问题 封装客户端 or Proxy？业务限制批量操作位图操作兼容客户端封装面临的问题 Redis3.2的问题BigKeyBigKey删除阻塞问题删除阻塞问题主从同步问题

3、主从同步问题Redis4Redis4已优化已优化面临的问题 动态水平扩容1.线上45主节点集群在高负载情况下扩容，Cluster Meet的时间明显越来越长2.Redis的Gossip协议Gossip简介Gossip protocol主要用在分布式数据库系统中各个副本节点同步数据之用。具体可以参考1987 年发表在 ACM 上的论文 Epidemic Algorithms for Replicated Database Maintenance。Gossip的优势：1.扩展性2.容错3.去中心化4.一致性收敛5.简单Gossip的的缺陷：1.消息的延迟2.消息的冗余面临的问题 动态水平扩容1.线上45主节点集群在高负载情况下扩容，Cluster Meet的时间明显越来越长2.Redis的Gossip协议一致性Hash环 or RedisCluster or？Gcache4-架构动态负责均衡兼容多种客户端主动熔断动态读权重调整资源池调度集群健康评分水平扩容支持批量操作自动异常修复.Gcache 4提升降低运维成本业务需求降低风险稳定性没有最好的架构，只有最合适的架构！Thank you!