24-01-华为云MySQL自研之路-v5.pdf

《24-01-华为云MySQL自研之路-v5.pdf》由会员分享，可在线阅读，更多相关《24-01-华为云MySQL自研之路-v5.pdf（19页珍藏版）》请在三个皮匠报告上搜索。

1、Security Level:华为云MySQL自研之路华为云MySQL研发总监：余汶龙目录数据库从云化向云原生演进1TaurusDB核心技术揭秘2TaurusDB下一代技术演进3Huawei Proprietary-Restricted Distribution3数据库从以资源为中心向以应用为中心演进新商业模式应用聚焦、不感知资源资源池化，弹性使用资源随用随申请存算分离，极致弹性以资源为中心以应用为中心应用感知的快速弹性伸缩资源无弹性交付周期长运维复杂化及时弹性资源多副本成本高挑战弹性伸缩应用感知写扩展能力不足挑战为使用付费替代为资源付费云化基础设施与资源云上部署传统应用云上部署数据库云化云原

2、生基础设施与资源云原生数据库云原生化云原生应用Serverless云原生基础设施与资源Serverless云原生数据库云原生Serverless化Serverless云原生应用现在存储服务器传统应用数据库传统IDC部署过去Huawei Proprietary-Restricted Distribution4RDS演进RDS云化HWSQL内核优化华为自研生态演进D-matrix MySQL生态产品DemoGaussDB(for MySQL)1.0TaurusDBCloud-NativeDFV1.0DFV 1.5存储引擎演进云原生数据库20122014201720192020华为云数据库发展：从云

3、化到Cloud-Native2025目录数据库从云化向云原生演进1TaurusDB核心技术揭秘2TaurusDB下一代技术演进3Huawei Proprietary-Restricted Distribution6TaurusDB“日志即数据”架构，超强性能和弹性存储成本低：数据共享，读能力扩展快与传统的 RDS for MySQL 相比，只有一份存储。添加一个只读节点时，只需添加一个计算节点，无需再额外购买存储。如果只读节点越多，节省的存储成本更多资源利用最大化：Active-Active 架构与传统的 RDS for MySQL 相比，不再有备库的存在，所有的只读都是 Active 状态，

4、并且承担读流量，使得资源利用率更高性能翻倍提升：日志即数据，减少刷盘与传统的 RDS for MySQL 相比，优化事务提交路径，不再需要刷 page，所有的更新操作仅记录日志，不再需要 double write，减少网络开销，大幅提升吞吐。存储参与计算：NDPQ发挥存储的并行下推充分利用存储算力，将复杂查询算子下推到存储层计算，减少计算和存储之间的数据传输，复杂查询性能数倍提升。与DFV分布式存储深度整合，软硬垂直优化，计算更靠近数据AppendOnly StorageStorage Abstraction Layer(SAL)PLOGLGWRBuffer Pool主节点计算节点LGWRBu

5、ffer Pool备节点REDO日志日志即数据架构，redo落盘事务即提交，支持ROCE，避免网络波动AppendOnly避免随机写带来的写放大；NDP数据密集型操作下推存储完成，减少网络开销PageDFV存储节点Huawei Proprietary-Restricted Distribution7AZ级高可用：基于自研DFV存储，跨AZ部署高可用，数据极致安全可靠RTO10SSQL NodesMaster（read-write）Master（read-write）Replica（read-only）Storage NetworkSliceDFVServerSliceCoherencetraf

6、ficCoherencetrafficStorage NetworkStorage Abstraction Layer(SAL)SliceDFVServerSliceDFVServerSliceSliceAZ1AZ2AZ3SQL NodesSQL Nodes计算节点容器化，检测到故障根据节点优先级自动选主切换FailoverReplica MasterReplicaStorage NetworkCoherenceCoherenceStorage NetworkSliceSliceAZ1AZ2AZ3存储层三副本存储，任意AZ数据故障，自动修复，数据0丢失ApplicationApplicatio

7、nDFV StorageSliceSliceSliceSlicerestorerestoreRPO=0故障点数据恢复点故障恢复点RPO：能恢复多久前的数据RTO：多长时间能恢复Huawei Proprietary-Restricted Distribution8自研存储系统保障秒级快照备份，1TB数据15分钟恢复软硬垂直优化的分布式存储系统，急速数据备份、恢复性能存储层文件AppendOnly设计，支持秒级快照生成备份及恢复逻辑下沉到各存储节点，数据恢复流程全并行。基于底层存储系统的多时间点快照特性，叠加少量增量日志，可直接实现按时间点回滚支持将备份文件存放到另一个区域存储，可以在异地区域使用

8、备份文件在异地恢复到新实例，实现跨region高可用0203数据库秒级快照备份支持任意时间点恢复并行高速备份、恢复跨region复制，异地可还原0401存储层快照恢复技术：分布式存储Appendonly架构设计，数据多版本，快照秒级生成。在不影响存储读写业务前提下，增量日志回放在存储层并行处理，提升恢复速度。本地快照：打完快照后，存放到存储池本地，可快速恢复新实例，对比传统OBS恢复，时间减少1/3场景耗时1TB全量恢复15min1TB全量+200G增量恢复35min200GB全量+200G增量恢复30minHuawei Proprietary-Restricted Distribution9

9、客户价值可实现1主5从的全球数据库集群，数据实时同步，减少用户数据孤岛。数据对应用透明，应用只需就近访问数据。跨Region集群间的数据基于物理日志（redo log）进行亚秒级同步。RPO可配置，典型场景RPO1s，RTO 30s。客户痛点跨国或跨区企业，针对关键数据需要：高可靠、强一致。传统基于binlog的数据同步机制存在较长的时延（秒/分钟界别），无法保证RPO和RTO。Region级高可用RegionlessDB，基于物理复制实现业务全球访问容灾RegionlessDB System architectureRegion ARegion BProxy layerProxy layer

10、写转发.Shared StorageShared StorageSQLSQLSQL read replicaSALSQLSQLReplicationserviceSQLSQLSQL read replicaSALReplicationserviceSQLSQLSQL read replicaSAL Nearby data accessMaster clusterSwitchover global clusterREDO LOGSQL MasterSALAZAZAZAZAppAppRedo logREDO LOGHuawei Proprietary-Restricted Distribution

11、10表回收站，让客户不再为误删表而烦恼方案架构recyclebinDB1table1DROP TABLE table1table1call dbms_recycle.restore_tableTransferRestorecall dbms_recycle.purge_tabletable1删除原理：回收机制：开启表回收站后，drop操作将转为逻辑删除，即将表通过rename移动到回收站里。清理机制：通过call dbms_recycle.purge_table进行回收站里的表清理，首先对操作权限进行检查，无权限不允许进行操作，鉴权通过后彻底删除。客户痛点客户运维人员在操作过程中，因误操作删除

12、了业务表，通过表级PITR恢复时间较长，业务影响大。误删表后可快速找回，为客户drop操作提供灵活安全的兜底能力。客户价值Huawei Proprietary-Restricted Distribution11方案架构原理：主节点监控LRU链表，将发生活动的数据页编号实时同步给只读节点。只读节点会将相关页面提前读取到缓存池中，保持与主节点相同的buffer pool页面。特性效果业务场景客户在数据库使用过程中经常遇到正常HA倒换（规格变更、升级）或异常HA倒换（物理机故障）。业务在实例倒换时，新主节点可能因冷数据原因，响应较慢，甚至出现雪崩效应。备机预热关闭：HA倒换后，新主节点初始性骤降50

13、%左右。备机预热开启：HA倒换后，新主节点性能无下降。备机预热：主备倒换性能无抖动，更丝滑Huawei Proprietary-Restricted Distribution12极大降低分区维护风险：不同分区上的 DML 和 DDL不相互阻塞，极大降低对业务影响。表级MDL锁（原社区方案）客户价值主要业务场景分区表使用是较多行业客户的通用诉求，客户经常需要进行分区添加、分区删除等维护操作。不同分区上DML与DDL语句互相阻塞，分区维护风险高：某个分区上操作的DML语句（SELECT/UPDATE/DELETE/INSERT）与DDL语句（adddrop），都会申请表级别的MDL锁，即便其操作不

14、同分区也会互相阻塞，需串行执行。分区级MDL锁（新方案）客户痛点分区级MDL锁：客户不再为分区级DDL维护操作影响业务而困扰Huawei Proprietary-Restricted Distribution13868855410102030405060Q14Q6提升倍数查询语句查询响应时间数十倍提升PQ only NDP only NDPQ TaurusDBNDPQ 原理演示1.计算节点在收到Query后，检查任务是否可以触发PQ进行并行查询2.将可并行查询拆分为多个并行子任务，分别交给不同的Worker线程执行3.Workers在收到任务后，检查操作是否可以触发NDP进行算子下推4.将可下

15、推算子推给存储层直接处理，Workers直接接收处理结果1.单独开启PQ和单独开启NDP性能提升倍数有限2.NDPQ能获得近乎叠加的效果TaurusDB实现NDPQ智能并行计算，用户报表业务最高50倍性能提升Huawei Proprietary-Restricted Distribution14Serverless 部署升级规格1升级规格n负载下降负载上升最高规格最低规格Serverless无服务器架构，自动规格扩缩容高峰期计算节点自动上弹低峰期计算节点自动缩减秒级Scale Up分钟级Scale Out客户场景l及时根据客户负载调整规格，按量付费，节约大量成本。l无须手动变配，提升运维体验。

16、l及时应对业务变化，降低业务受损风险。Scale Up：4秒检测实例负载，6s完成扩容，buffer Pool大小亚秒级伸缩 Scale Out：主动预测业务，秒级弹出速度快粒度细高稳定算力大 2GB粒度，算力按需弹升 自定义弹性步长 基于ALT 应用透明迁移，业务不中断 支持自动启停最高1写15读集群，1000U算力Huawei Proprietary-Restricted Distribution15多种压缩方式，存储成本可下降50%以上 随着历史数据越来越多，部分数据的访问时效性需求降低，可以以少量的CPU和时延损失来换取空间的成本压缩 压缩与数据特征本身相关，不同压缩方法对不同的数据特

17、性表现的性能有较大差异 提供大字段（字符串/BLOB等类型）列压缩，不查询压缩字段无性能损耗。支持zstd、zlib、lz4、snappy算法。同步在存储SliceStore层对Page的Slice进行后台异步压缩，不影响写入性能，应用无感。利用鲲鹏内置硬件指令，大幅度提升压缩、解压缩效率。客户痛点特性价值LogStorePageStoreSlice1CompressedSlice1ReplayCompressedSlice3CompressedSlice2CompressedSliceNLogStoreCompressionProcessor压缩/解压缩指令异步完成压缩后删除原始页面解压Sl

18、ice2LogSALSQL16K PageDFV集群计算存储压缩：应用无感ROWnC1C2Compressed-C3C4ROW1C1C2Compressed-C3C4计算节点全局压缩字典C3存储列压缩：多种算法支持Huawei Proprietary-Restricted Distribution16TaurusDB冷热数据分层存储，成本最高降低90%随着业务的持续发展，数据库数据逐渐增大，存在大量历史数据访问频率低甚至不访问，存储随着时间推移会越来越大，存储部分占用的成本越来越高。客户自行将数据转储面临数据同步脚本维护成本高，改造工作量大，且稳定性不足无法保障数据一致，同时数据转存至类似低成

19、本存储面临访问和修改数据难题。master读写常规存储：数据存储在DFV，成本相对固定冷热分离，冷数据可读replica读OBS存储转存转存读冷热分离冷热分离存储：以表粒度地将冷数据转储至OBS，降低存储成本；OBS数据提供直接检索能力客户痛点客户价值DFV Slice核心能力 支持表/分区粒度灵活转储，冷数据存储从DFV转移至OBS对象存储，单位存储成本最高降低90%。冷数据在线可读，不改变查询方式，SQL语句操作，满足常规低频查询诉求。支持通过SQL语句将整表/分区表进行归档，数据从分布式存储池中归档至OBS以降低成本，数据0丢失。支持在备机进行归档，不影响主机性能。归档过程中支持断点续传

20、。1TB归档时间1.5h，查询效率约为高性能存储池1/10SliceSliceSliceSliceSlice目录数据库从云化向云原生演进1TaurusDB核心技术揭秘2TaurusDB下一代技术演进3Huawei Proprietary-Restricted Distribution18TaurusDB下一代云原生架构，基于全栈自研的技术路线，完全自主可控灵衢内存池虚拟内存池PostgreSQLMySQL中间件DFVDoradoEVS云原生数据底座内存池SQL引擎层分布式接入北向支持不同数据库协议南向支持不同存储介质SALSQL抽象接口层解析器优化器执行器新硬件SliceStore分布式共享存

21、储134MariaDB解析器优化器执行器存算分离下的多写2.0=分布式存储+库表多写+行级多写库表多写：结合中间件分流，实现应用垂直拆分行级多写：Dstore多写设计，实现分布式行级多写基于自研Dstore的存储引擎100%自研存储引擎高性能，大容量以内存为中心的池化架构自研灵衢内存池基于分布式存储架构实现南北兼容北向：兼容MySQL、PG、HTAP等多种数据库协议南向：适配DFV、Dorado、EVS等存储介质1234存储引擎层InnoDB存储引擎2DStore存储引擎多写引擎-2 多写引擎-1SliceServer Group1LogStorePageStoreSliceServer Gr

22、oup2LogStorePageStoreSliceServer Group NLogStorePageStore中间件中间件四大关键竞争力Copyright2018 Huawei Technologies Co.,Ltd.All Rights Reserved.The information in this document may contain predictive statements including,without limitation,statements regarding the future financial and operating results,future p

23、roduct portfolio,new technology,etc.There are a number of factors that could cause actual results and developments to differ materially from those expressed or implied in the predictive statements.Therefore,such information is provided for reference purpose only and constitutes neither an offer nor an acceptance.Huawei may change the information at any time without notice.把数字世界带入每个人、每个家庭、每个组织，构建万物互联的智能世界。Bring digital to every person,home and organization for a fully connected,intelligent world.Thank you.