火山引擎：云原生数据库veDB核心技术剖析与展望（2022）（32页）.pdf

1、2022/7/151云原生数据库 veDB核心技术剖析与展望张雷 火山引擎数据库技术负责人Copyright Copyright 2022022 2 北京火山引擎科技有限公司北京火山引擎科技有限公司 All rights reserved.All rights reserved.22.veDB 新的技术挑战与实践3.veDB 未来展望1.veDB 架构介绍自我介绍3张雷张雷-10 年+分布式系统，云存储、云数据库产品研发经验-2019 年加入字节跳动后，从 0 到 1 构建了字节跳动数据库产品体系-负责数据库体系、对象存储 TOS、大数据存储 HDFS 的产品研发与运营veDB 架构介绍字节数

2、据库发展简介5第一代20152017刀耕火种的石器时代第二代20182021标准化、系统化第三代2022融合智能化 业务规模：数百套库/12K实例 产品体系：MySQL/MyRocks 运维体系：人工+脚本 业务规模：数千套库/数万实例 产品体系：托管 MySQL/MongoDB veDB MySQL/PG/Doc 运维体系：平台化平台化 业务规模：数万套库/数十万实例.产品体系：托管 MySQL/MongoDBveDBveDBforMySQL/PG/Doc/HTAPHTAP/SerServerlessDBverlessDB/MemDBMemDB/./.运维体系：平台化+AIAIveDB Fa

3、mily6Unified Storage PlatformUnified Storage PlatformMySQLPGMongoESHTAPDistributed Storage PoolDistributed Storage PoolDB Engine PluginsDistributed ProtocolLocal Storage Enginehigh-speed RDMA networkMultiple DB EnginesMultiple DB EveDB 设计哲学7一切皆一切皆分离分离：计算存储分离、日志数据分离、读写分离：计算存储分离、日志数据分离、读写分离DB DB Insta

4、nceInstanceDistributed Storage PoolDistributed Storage PoolPMHDDSSDComputing Computing LayerLayerStorage LayerStorage LayerProxy Proxy LayerLayerproxyproxyAZ1AZ1DB DB InstanceInstanceDB DB InstanceInstanceproxyproxyAZ2AZ2DB DB InstanceInstanceDB DB InstanceInstanceproxyproxyAZ3AZ3DB DB InstanceInsta

5、nceLog I/O&Page I/OveDB 核心能力8灵活性强灵活性强 基于 shared-storage 架构，实现计算存储分离兼容性好兼容性好 100%兼容 MySQL 8.0&PostgreSQL 13高可用性高可用性 存储层多副本，可单 AZ/跨 3AZ 部署高性能高性能 高并发集群模式下远超传统单机数据库成本低成本低 按需独立扩缩计算/存储，存储层高压缩比超大容量超大容量 单表 64TB，并支持 PB-level 解决方案veDB 在字节内部支持大规模微服务和数据增长911001000100000200040006000800010000120002018201920202021

6、数据量级(PB)515050075001002003004005006007008002018201920202021容器量级(万个）数据截止2021年5月极致弹性实现字节内部全场景覆盖10QPSQPS 型实例型实例案例：中台某推送业务（春晚活动）目标用户量：10 亿级设备峰值读 QPS：超高（超高（6M+6M+）峰值写 QPS：超高（超高（3.6M+3.6M+）数据量：大（20TB+）容量型实例容量型实例案例：电商某订单QPS：中低（20K+）数据量：超大（超大（60TB+60TB+）小型实例小型实例案例：大部分线上实例QPS：较低（较低（=K=K级别）级别）数据量：较小（较小（GBGB级别