2019年爱奇艺Key-Value数据库HiKV应用实践.pdf

1、爱奇艺Key-Value数据库HiKV应用实践HiKV 是什么？爱奇艺基于Scylla开发的Key-Value数据库 Scylla:C+重写的Cassandra，高吞吐，低延时 HiKV:High Performance Key-Value Database 特点 大容量：单集群百TB数据量 高负载：单节点10w+QPS 低延时：读写延迟 P99HiKV同步工具，实现快速数据同步迁移100%运维自动化，监控全覆盖（延迟监控，拨测监控），50%告警实现自愈CB6.0调研阶段Ephemeral buckets多数据结构权限管理二级索引未来可期Couchbase易扩展，“数据量可用内存”时性能极高。

2、但是，存储成本过高！大容量开源NoSQL系统选择Scylla、mongoDB、Couchbase进行性能对比大容量开源NoSQL-测试场景服务器服务端：3台物理机CPU:2 x Intel Xeon Gold 5118 2.30GHz,24 Cores 48 Threads in totalMemory:192GBSSD:8 x INTEL SSDSC2KB96(960GB)客户端：3台物理机CPU:2 x Intel Xeon Gold 6148 2.40GHz,40 Cores 80 Threads in totalMemory:512GB数据集小数据集（Small）1亿条 X 1KB长度

3、 X 3副本数据量内存负 载只读（RO）加载数据集后，10w Read+0 Write随机读写（RW）加载数据集后，5w Read+5w Write版 本MongoDB 4.2.0Couchbase 6.0.0Scylla 2.0.4/3.0.10大容量开源NoSQL-测试结果10.150.97.54.10.410.35.158.80.85.610551055SMALL_ROSMALL_RSMALL_WLARGE_ROLARGE_RLARGE_WQPS(万行万行/秒秒)mongoDBCouchbaseScylla380228182037258450090.240.651.1528.76194.

4、471.3214.191.767.916.125.66SMALL_ROSMALL_RSMALL_WLARGE_ROLARGE_RLARGE_WP99读写延时读写延时(MS)mongoDBCouchbaseScylla 仅有 Scylla 满足所有场景QPS要求 mongoDB 在cache dirty比例达到20%后，写请求开始排队（qw），写QPS急剧下降 Couchbase 在大数据量读写场景下，数据异步持久化造成读QPS急剧下降 均不满足读写延时需求（P9910ms）Couchbase 在小数据量，数据均缓存在内存，延时最优。大数据量读写时，读延时较大 Scylla大数据量读写时，读延时

5、最优。压测2小时后，开始出现10s+超时Scylla最接近我们的需求，但高负载下长尾延时明显。是什么原因？Scylla 工作原理CREATE TABLE loads(machine,cpu,mtime,load,PRIMARY KEY(machine,cpu),mtime)WITH CLUSTERING ORDER BY(mtime DESC);Murmurhash3(PartitionKey)Token(64bit)Token RangeVNodePhysical NodeMem TableCommit LogSSTableCompactionCoordinator基于LSM(Log Str

6、uctured Merge)Tree的存储方式，会造成“写/读/空间的放大”Scylla 延时抖动的原因Size-Tiered Compaction 每层存储固定数量的文件（default:4）在该层文件数达到阈值时，将文件合并为1个，并放在下一层适用场景：新增写入和读 均衡不适用：对已有数据的大量Update/Delete是否采用其他存储引擎，以减小“写/读/空间放大”带来的性能抖动和空间浪费？T2T2T2T2T3T2T2T2T2T3T2T2T2T2T3T2T2T2T2T3T4提纲 为什么要开发 HiKV？HiKV 设计思路与关键技术 HiKV 在爱奇艺的应用HiKV 设计思路 继承Scyl