华为云DDS数据库容灾关键技术（26页）.pdf

《华为云DDS数据库容灾关键技术（26页）.pdf》由会员分享，可在线阅读，更多相关《华为云DDS数据库容灾关键技术（26页）.pdf（26页珍藏版）》请在三个皮匠报告上搜索。

1、概述DDS 的产品优势MongoDB3种架构高可用高可靠高安全管理、监控100%兼容 MongoDB-具备无需业务改造，直接迁移上云的能力-支持社区3.4/4.0版本集群、副本集、单节点-集群：nTB存储、在线扩容-副本集：2TB存储，3副本-单节点：高性价比架构高可用、跨AZ部署-支持副本集，Shard高可用架构（集群）-副本集多节点（三、五、七）-集群、副本集支持跨AZ部署自动/手动备份，数据恢复-每天自动备份，保留 732 天-手动备份，永久保存-备份恢复-具备多层安全防护-网络：VPC 网络隔离-传输：SSL 安全连接-访问：安全组出、入限制-可视化监控：CPU、内存、IO、网络等-实

2、例一键扩容、规格变更-错误日志、慢日志管理-参数组配置DDS服务部署形态单节点（Single）1.超低成本，仅需支付一个节点的费用；2.支持10GB-1000GB 的数据存储；3.较副本集/集群可用性不高：当节点故障，业务不可用；适用场景非核心数据存储学习实践；测试环境的业务；架构特点DDS部署形态副本集（Replica Set）1.三节点高可用架构：当主节点故障时，系统自动选出新的主节点2.支持10GB-3000GB 数据存储；3.具备扩展到5节点，7节点副本集的能力。架构特点适用场景有高可用需求，数据存储解析-整合：从磁盘读取日志数据，解析日志中有效变化记录，并按原库发生的先后顺序整合成事

3、务THL落盘文件：整合后的数据被转换为DRS内部存储格式，并写入磁盘读取-过滤-转换：读取THL文件数据，并对数据进行过滤和转换，形成目标库可应用的数据。并行分析：评估各记录之间的依赖关系，生产可并行回放的数据队列回放：多线程并发的将数据写入到目标库目录 DDS简介 DDS（文档数据库）灾备技术原理 原生Change Streams分析 DDS对于Change Streams的优化 总结Change Streams可以直译为变更流，也就是说会将数据库中的所有变更以流式的方式呈现出来。用户可以很方便地对数据库建立一个监听（订阅）进程，一旦数据库发生变更，使用change stream的客户端都可

4、以收到相应的通知。使用场景可以包括但不限于以下几种：1）多个MongoDB集群之间的增量数据同步；2）高风险操作的审计（删库删表）；3）将MongoDB的变更订阅到其他关联系统实现离线分析/计算等等原生Change Streams分析-1什么是Change Streams集群场景下，灾备实例之间的日志拉取依靠Change Steams完成1 客户端向MongoS发起了一个Aggregate命令,把该命令发给对应的Shard节点,同时服务端向客户端返回一个游标。2 ShardServer端收到Aggregate命令后，扫描oplog集合，读取数据并返回给Mongos.3 客户端通过Mongos节

5、点拿到游标ID,在该游标上不断的执行getMore请求，来获取整个集群的oplog（操作日志）信息。原生Change Streams分析-21 事件拉取性能有待提升：如之前分析，当前的Change Streams请求发到Mongos节点后，通过单线程的方式向每个Shard节点发送异步请求命令来完成数据的拉取，并做数据归并，如果将该方式替换为多线程并发拉取，对于分片表来说，性能会有提升。2 支持DDL事件不完善，对于集合和DB删除事件导致事件监听中断，需要重新开始。Change Stream目前支持的事件如下：Insert Event：数据插入Update Event：数据更新Replace E

6、vent：数据替换Delete Event：删除数据Drop Event：删除集合Rename Event：重命名集合DropDatabase Event：删除DB invalidate Event:非法事件原生Change Streams分析-3目录 DDS简介 DDS（文档数据库）灾备技术原理 原生Change Streams分析 DDS对于Change Streams的优化 总结Change Streams Buffer:与Shard是一对一的关系。每个Change Streams Buffer 默认1GB，在Buffer满之前，该Buffer无条