《Redis集群演进的心路历程(24页).pdf》由会员分享,可在线阅读,更多相关《Redis集群演进的心路历程(24页).pdf(24页珍藏版)》请在三个皮匠报告上搜索。
1、从2.x到3.0时代王新春平安健康互联网 技术保障团队Redis集群演化的心路历程基于Redis 2.x的KV存储Redis 3.0 Cluster时代Redis Client的改进目 录content大数据平台中的KV存储KV存储OLAP引擎报表数据监控系统开发平台主数据权限实时离线调度数据库Hadoop/Hive离线计算Storm/Spark(准)实时计算报表流量分析运营分析画像在线服务应用/安全数据打点数据KV存储的基本要求1.大容量,支持TB级别存储2.高性能3.功能丰富一、基于Redis 2.x的KV存储优势:水平扩展缺点:不满足在线核心业务SLA(99.9%响应 0tryRando
2、mNode=trueJedisMovedDataExceptionrenewSlotCacheToo many Cluster redirections?YNw.lockToo many Cluster redirections?Solution:redirections=1为解决集群迁移、扩容和节点主从切换的访问失败1.后台定期renewSlotCache2.增加SocketTimeoutException计数器,超过阈值,触发renewSlotCache3.当前同一slot的connection已经在renewSlotCache,则等待结果并返回基于node级别的multi 和pipeline+pipelineWithNode+mutiWithNode开发使用建议Key设计TTLHash VS JSONhash/list/set/sorted set的Item数量Value序列化操作的时间复杂度o(1)?o(n)?Redis Next?SSD 非易失性存储