当前位置:首页 > 报告详情

Redis集群演进的心路历程(24页).pdf

上传人: 云闲 编号:91201 2021-01-01 24页 2.57MB

1、从2.x到3.0时代王新春平安健康互联网 技术保障团队Redis集群演化的心路历程基于Redis 2.x的KV存储Redis 3.0 Cluster时代Redis Client的改进目 录content大数据平台中的KV存储KV存储OLAP引擎报表数据监控系统开发平台主数据权限实时离线调度数据库Hadoop/Hive离线计算Storm/Spark(准)实时计算报表流量分析运营分析画像在线服务应用/安全数据打点数据KV存储的基本要求1.大容量,支持TB级别存储2.高性能3.功能丰富一、基于Redis 2.x的KV存储优势:水平扩展缺点:不满足在线核心业务SLA(99.9%响应 0tryRando

2、mNode=trueJedisMovedDataExceptionrenewSlotCacheToo many Cluster redirections?YNw.lockToo many Cluster redirections?Solution:redirections=1为解决集群迁移、扩容和节点主从切换的访问失败1.后台定期renewSlotCache2.增加SocketTimeoutException计数器,超过阈值,触发renewSlotCache3.当前同一slot的connection已经在renewSlotCache,则等待结果并返回基于node级别的multi 和pipeline+pipelineWithNode+mutiWithNode开发使用建议Key设计TTLHash VS JSONhash/list/set/sorted set的Item数量Value序列化操作的时间复杂度o(1)?o(n)?Redis Next?SSD 非易失性存储

word格式文档无特别注明外均可编辑修改,预览文件经过压缩,下载原文更清晰!
三个皮匠报告文库所有资源均是客户上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作商用。
本文主要讲述了从Redis 2.x到3.0时代,王新春平安健康互联网技术保障团队在Redis集群演化过程中的心路历程。在Redis 2.x时代,他们采用了基于KV存储的Redis,虽然性能高且API接口丰富,但单节点存储能力有限,且不满足在线核心业务的高可用性要求。到了Redis 3.0 Cluster时代,他们采用了集群化部署,每个集群有32个节点,支持读写分离和数据分布,提高了性能和可用性。同时,他们也对Redis Client进行了改进,基于Jedis的Client进行了优化,解决了连接超时和重定向的问题。然而,仍然存在扩容困难、共享集群业务影响、数据导出复杂等问题。总的来说,他们在Redis集群演化过程中不断优化性能和可用性,但也面临着一些挑战和问题。
"Redis 2.x到3.0时代,集群演化有哪些心路历程?" "如何解决Redis Cluster时代遇到的连接超时和重定向问题?" "在大数据平台中,KV存储面临哪些挑战和解决方案?"
客服
商务合作
小程序
服务号
折叠