腾讯专场1.5-具备混合负载能力的分布式KV存储.pdf

1、腾讯云专家工程师-伍旭飞KeewiDB混合负载分布式KV存储互联网业务的挑战海量用户2011-2020年全球互联网用户规模及占全球总人口比重变化海量数据2009-2020年全球数据存储需求增长趋势快读迭代V3V2V1实时体验NOSQL的自发诞生分布式海量数据海量用户高并发实时体验低延迟快速迭代弱模型人生很短-Redis很快Redis在过去的5年里，连续获得最受欢迎数据库（数据摘自Stack Overflow）2021年最受欢迎数据库改名Redis的应用远远超出了缓存的范畴不要你觉得-要我觉得主存储20%80%缓存还是存储?WhyString、Hash、Set、Zset、List、Bitarra

2、y、Hyperloglog、Stream丰富的数据模型每个数据类型都提供高效直接的操作接口200+指令Redis的持久化成为最大呼声Redis具备与生俱来的KV基因成本、安全成为选型的阻碍欲练神功-各显神通Redis 持久化高性能实时存储Tendis(RocksDB)大容量KVLBProxyTendiShard 0TendiShard 0TendiShard 0ProxyProxyRedisHot DataCold Data分级存储Tendis(RocksDB)LBProxyTendiShard 0TendiShard 0TendiShard 0ProxyProxyRendiShard 0Re

3、ndiShard 0RendiShard 0先天缺陷ClientCache（Redis）MySQLPikaHbaseTikvDB分布式缓存无法绕过的3大难题缓存一致性缓存雪崩缓存击穿年轻人的第一本武功秘籍13723 31 432 3 57 1113 17 1923 2931 37 4143 47适用于TP/SQLL0L1L2LKimmutable memtablememtableSS Tabledisk适用于AP/BigDataKeysHashCodeKeys-value pairs(records)John SmithLias SmithSam DoeSandra DoeLisa Smith

4、John SmithSandra DeeSam Doe+1-555-8976+1-555-1234+1-555-9655+1-555-503001872873874998999适用于内存道法自然-KeewiDB存储引擎点读/写为主读多写少很少Range查询000011011100aabcd321364egh1617动态Linear-Hash神兵利器-持久内存8ByteRandom1 sPersistentStorage(SSD/HDD)KeewiDb Engine（CPU）OPTANE(optional)KeewiDB更少的资源更短的路径更低的延迟实战效果-个位延迟测试方法：YCSBLoad，String 128Byte，10亿Key.测试规格：KeeWiDB 6C64GB，RocksDB 16C64G未来趋势proxyproxyproxyLBDBDBDBShare NothingMRRstorageShare Storagestoragecache memoryMMMShare EveryThing