2018年互联网架构转型中的数据库实践.pdf

《2018年互联网架构转型中的数据库实践.pdf》由会员分享，可在线阅读，更多相关《2018年互联网架构转型中的数据库实践.pdf（17页珍藏版）》请在三个皮匠报告上搜索。

1、互联网架构转型中的数据库实践企业级互联网架构专场研发人员众多，数据安全、效率、规范的挑战很大数据是企业核心资产，如何提高数据库容灾能力业务由简单到复杂，数据量由小到大，如何提升扩展性DBA能力/人力没有跟上业务高速发展核心数据共享，异构数据共享互联网数据库发展经历的痛点集中存储垂直拆分水平拆分分布式数据库DBA支持工作流+DBA自助化数据管理人工运维CMDB+工具半自动平台自动化、智能化管控集中存储工具拉取数据传输数据库扩展性数据管理数据库运维数据孤岛脚本工具平台、任务数据库管控平台、数据库备份平台数据库容灾阿里巴巴数据库生态的发展业务少、库少、体量小业务多、体量大、维护人员少稳定、安全、效率

2、要求高阿里巴巴分布式数据库的前生今世痛点解决思路(核心能力)产品发展业务发展-数据存储与计算数据存储与计算能力扩展能力扩展水平拆分-DBADBA成本、应用改成本、应用改造成本造成本业务增速快复杂-扩容成本高扩容成本高业务复杂、读写混合-主库成主库成为瓶颈为瓶颈多维度数据操作-跨分片事务跨分片事务跨分片唯一性-全局唯一主键全局唯一主键分布式数据库拆分方式丰富，对应用透明拆分方式丰富，对应用透明平滑扩容、透明升配平滑扩容、透明升配透明读写分离分布式事务全局唯一数字ID分布式数据库DRDS典型场景分布式数据库DRDS典型客户案例面面临问题临问题u电电信运信运营营商号商号码业务码业务、资资源卡源卡业务

3、业务体量体量大，大，发发展速度快，存展速度快，存储扩储扩展性是潜在瓶展性是潜在瓶颈颈u数据数据库库拆分后的拆分后的应应用改造成本高用改造成本高解决方案解决方案uDRDSDRDS提升存提升存储扩储扩展能力和展能力和计计算能力算能力u访问应访问应用透明、平滑用透明、平滑扩扩容、透明升配、透容、透明升配、透明明读读写分离解决了客写分离解决了客户应户应用改造成本高用改造成本高的的问题问题阿里巴巴数据传输的前生今世痛点解决思路(核心能力)产品发展MySQL单线程复制主从延主从延迟迟单元化项目-不同单元之间不同单元之间进行数据交互、同步进行数据交互、同步数据库拆分-下游消费数据下游消费数据工作量大工作量大

4、核心数据共享-同构、异构同构、异构数据库同步难数据库同步难硬件、网络改造-数据库迁数据库迁移成本高移成本高数据生产到数据消费-需求需求增长、成本增加增长、成本增加DRCDRC支持并行应用日志支持并行应用日志支持数据同步支持数据同步支持数据订阅支持数据订阅支持数据实时同步支持数据同构、异构数据库迁移支持数据实时订阅支持数据实时订阅数据传输DTS的架构数据迁移数据同步数据订阅文件迁移数据库大数据/存储SQL/CSV应用程序云数据库服务Apsara DB大数据产品ECS自建数据库用户IDC数据库集团、蚂蚁支持数据源及目标l数据源：数据源：MySQL、Oracle、SQLServer、PostgreS

5、QL、MongoDB、Redisl数据目数据目标标：MySQL、Oracle、DRDS、ADS、Oceanbase、SQLServer、PostgreSQL、MongoDB、Redis、MaxCompute、DataHub数据传输DTS客户案例-Oracle客户上云面面临临主要主要问题问题u本地的本地的 Oracle Oracle 数据数据库库是客是客户业务户业务的性能瓶的性能瓶颈颈，活，活动时动时，Oracle Oracle 上的存上的存储过储过程占用了程占用了实实例将近例将近 80%80%的的 CPU CPUu 要求在系要求在系统统持持续续运行、不停机的情况下将运行、不停机的情况下将 Or

6、acle Oracle 上上业务业务迁移迁移到阿里云到阿里云 DRDS DRDS解决方案解决方案u通通过过 DTS DTS 搭建搭建 Oracle Oracle 到到 DRDS DRDS 实实例例间间的的实时实时同步同步链链路，保路，保证证 DRDS DRDS 与与 Oracle Oracle 数据数据实时实时同步同步u在在 DRDS DRDS 和和 Oracle Oracle 实实例例间间的数据保持的数据保持实时实时同步后，同步后，业务选择业务选择任一任一时时刻，将部分流量切刻，将部分流量切换换到阿里云上的到阿里云上的 DRDS DRDSu通通过过 DTS DTS，将，将 DRDS DRDS

7、 上上产产生的生的业务业务流量回流回流量回流回 Oracle,Oracle,Oracle Oracle 和和 DRDS DRDS 在在业务业务完成割接期完成割接期间间互互为为灾灾备备，保，保证业务连证业务连续续性性阿里巴巴数据管理的前生今世痛点解决思路(核心能力)产品发展资源管理比较原始-管理成管理成本高本高Oracle-MySQL-分库分表分库分表变更成本高变更成本高SQL审核、DDL变更量成倍增加-DBADBA成为瓶颈成为瓶颈DBA与研发交互成本高-DBADBA成为瓶颈成为瓶颈数据安全、权限控制要求高-原生权限粒度不够细原生权限粒度不够细企业数据库类型多-对人员对人员能力要求高能力要求高实

8、例统一管理实例统一管理规则规则+流程自助变更流程自助变更规则规则+流程自动审核变更流程自动审核变更非运维操作规则化、自助化统一入口、多维度权限细化、全操作审计日志广泛数据源支持广泛数据源支持数据管理DMS架构与案例企企业级业级数据数据库库DevOpsDevOps架构架构统一入口员工流程规则元数据员工流程规则元数据企业A企业B企业A数据库企业B数据库仅限办公网内访问生产数据人员库表权限细粒度，每次返回最多100行字段分级，避免不必要敏感数据接触实例级别安全规则设置，保障安全与效率变更全在线管理，操作日志随时审计能有效提高研发效率，减少与DBA交互DMSDMS客客户户案例案例混合云数据库管理HDM

9、架构与能力核心能力l打通混合云(云下IDC、云上)数据库架构l多环境统一管理l自动化运维低成本l容灾切换l快速弹性扩容l一键切换l稳定、容灾、弹性DashboardDashboard实时大盘实时大盘异常大盘异常大盘资源大盘资源大盘性能大盘性能大盘集群管理集群管理集群概览集群概览集群性能集群性能集群对比集群对比结构同步结构同步资源发现资源发现实例接入实例接入售前管理售前管理架构拓扑架构拓扑实例识别实例识别弹性扩展弹性扩展克隆到云克隆到云上上克隆到本克隆到本地地切换到云切换到云上上切换到本切换到本地地容灾建设容灾建设热备建设热备建设冷备恢复冷备恢复自动切换自动切换数据质量数据质量本地本地IDCID

10、CMySQLSQL ServerOracleMongoDBRedisOthers云上自建数据库RDS/DRDS产品发展数据库备份DBS架构与能力产品优势产品优势l 秒级秒级RPO:RPO:支持实时增量数据备份，最大程度避免数据丢失支持实时增量数据备份，最大程度避免数据丢失l 表级表级RTO:RTO:支持单表恢复，大大缩短故障恢复时间支持单表恢复，大大缩短故障恢复时间l 自动生命周期管理自动生命周期管理:用户自定义规则，备份集自动转存和过期清理用户自定义规则，备份集自动转存和过期清理l 高安全高安全:用户自定义秘钥，数据全程加密传输，用户自定义秘钥，数据全程加密传输，OSSOSS加密存储加密存储

11、l 高可靠：高可靠：多副本存储多副本存储l 低成本低成本:按需付费，无需提前规划并进行前期大笔投资按需付费，无需提前规划并进行前期大笔投资后续计划后续计划l压缩压缩l流控流控l合规解决方案合规解决方案对象存储 OSS（用户）标准存储低频访问存储归档存储管控节点服务节点无需大量前期成本、实时增量数据备份、单表恢复、自动转存清理、加密数据库（关系型数据库、NoSQL等）企业数据中心/其他云厂商/公网阿里云阿里云数据库（ECS自建数据库、RDS等）生产数据生产数据备份DBS云存储专线互联网VPC、经典网络降低成本基于HDM、DBS、DTS的容灾解决方案 提供多提供多层级层级数据数据库库容灾方案容灾方

12、案-考量：考量：RPORPO，RTORTO，成本，成本，扩扩展性展性 覆盖数据覆盖数据库库容灾的各种需求容灾的各种需求-容灾容灾建建设设，监监控控-容灾演容灾演练练-容灾切容灾切换换，数据校数据校验验及修复及修复-HDMHDM 一一键键切切换换 构建数据构建数据库库异地容灾的完整体系异地容灾的完整体系ECS自建数据库数据管理服务DMSMySQL云外数据库MySQLSQLServerOracleMongoDBRedis阿里云数据库引擎数据上云数据传输DTS数据回流数据迁移数据库备份DBS混合云数据库管理HDM数据同步数据订阅ADAM关系型SQL ServerPostgreSQPostgreSQL

13、 LPPASNoSQLRedisMongoDBMemcacheHbaseHybirdAP HybirdDBHybirdDB(PostgreSQLPostgreSQL)HybirdDBHybirdDB(MySQL)(MySQL)ADS分布式数据库分布式关系型数据库服务 DRDSPolarDB自建数据库TableStore时序数据库HiTSDB企业级数据库产品架构DRDSHDM/DMSDMSDTS分布式数据库Scale Out弹性扩展方案自动化、智能化运维为企业业务提速研发效率保障和数据安全方案数据迁移&同步&上云解决方案HDM/DBS/DTS多层级的容灾保证系统高可用解决方案企业级数据库解决方案目标高效稳定可靠可扩展安全企业级互联网架构专场