2018年互联网架构转型中的数据库实践.pdf

《2018年互联网架构转型中的数据库实践.pdf》由会员分享，可在线阅读，更多相关《2018年互联网架构转型中的数据库实践.pdf（17页珍藏版）》请在三个皮匠报告上搜索。

1、互联网架构转型中的数据库实践企业级互联网架构专场研发人员众多，数据安全、效率、规范的挑战很大数据是企业核心资产，如何提高数据库容灾能力业务由简单到复杂，数据量由小到大，如何提升扩展性DBA能力/人力没有跟上业务高速发展核心数据共享，异构数据共享互联网数据库发展经历的痛点集中存储垂直拆分水平拆分分布式数据库DBA支持工作流+DBA自助化数据管理人工运维CMDB+工具半自动平台自动化、智能化管控集中存储工具拉取数据传输数据库扩展性数据管理数据库运维数据孤岛脚本工具平台、任务数据库管控平台、数据库备份平台数据库容灾阿里巴巴数据库生态的发展业务少、库少、体量小业务多、体量大、维护人员少稳定、安全、效率

2、要求高阿里巴巴分布式数据库的前生今世痛点解决思路(核心能力)产品发展业务发展-数据存储与计算数据存储与计算能力扩展能力扩展水平拆分-DBADBA成本、应用改成本、应用改造成本造成本业务增速快复杂-扩容成本高扩容成本高业务复杂、读写混合-主库成主库成为瓶颈为瓶颈多维度数据操作-跨分片事务跨分片事务跨分片唯一性-全局唯一主键全局唯一主键分布式数据库拆分方式丰富，对应用透明拆分方式丰富，对应用透明平滑扩容、透明升配平滑扩容、透明升配透明读写分离分布式事务全局唯一数字ID分布式数据库DRDS典型场景分布式数据库DRDS典型客户案例面面临问题临问题u电电信运信运营营商号商号码业务码业务、资资源卡源卡业务

3、业务体量体量大，大，发发展速度快，存展速度快，存储扩储扩展性是潜在瓶展性是潜在瓶颈颈u数据数据库库拆分后的拆分后的应应用改造成本高用改造成本高解决方案解决方案uDRDSDRDS提升存提升存储扩储扩展能力和展能力和计计算能力算能力u访问应访问应用透明、平滑用透明、平滑扩扩容、透明升配、透容、透明升配、透明明读读写分离解决了客写分离解决了客户应户应用改造成本高用改造成本高的的问题问题阿里巴巴数据传输的前生今世痛点解决思路(核心能力)产品发展MySQL单线程复制主从延主从延迟迟单元化项目-不同单元之间不同单元之间进行数据交互、同步进行数据交互、同步数据库拆分-下游消费数据下游消费数据工作量大工作量大

4、核心数据共享-同构、异构同构、异构数据库同步难数据库同步难硬件、网络改造-数据库迁数据库迁移成本高移成本高数据生产到数据消费-需求需求增长、成本增加增长、成本增加DRCDRC支持并行应用日志支持并行应用日志支持数据同步支持数据同步支持数据订阅支持数据订阅支持数据实时同步支持数据同构、异构数据库迁移支持数据实时订阅支持数据实时订阅数据传输DTS的架构数据迁移数据同步数据订阅文件迁移数据库大数据/存储SQL/CSV应用程序云数据库服务Apsara DB大数据产品ECS自建数据库用户IDC数据库集团、蚂蚁支持数据源及目标l数据源：数据源：MySQL、Oracle、SQLServer、PostgreS

5、QL、MongoDB、Redisl数据目数据目标标：MySQL、Oracle、DRDS、ADS、Oceanbase、SQLServer、PostgreSQL、MongoDB、Redis、MaxCompute、DataHub数据传输DTS客户案例-Oracle客户上云面面临临主要主要问题问题u本地的本地的 Oracle Oracle 数据数据库库是客是客户业务户业务的性能瓶的性能瓶颈颈，活，活动时动时，Oracle Oracle 上的存上的存储过储过程占用了程占用了实实例将近例将近 80%80%的的 CPU CPUu 要求在系要求在系统统持持续续运行、不停机的情况下将运行、不停机的情况下将 Or

6、acle Oracle 上上业务业务迁移迁移到阿里云到阿里云 DRDS DRDS解决方案解决方案u通通过过 DTS DTS 搭建搭建 Oracle Oracle 到到 DRDS DRDS 实实例例间间的的实时实时同步同步链链路，保路，保证证 DRDS DRDS 与与 Oracle Oracle 数据数据实时实时同步同步u在在 DRDS DRDS 和和 Oracle Oracle 实实例例间间的数据保持的数据保持实时实时同步后，同步后，业务选择业务选择任一任一时时刻，将部分流量切刻，将部分流量切换换到阿里云上的到阿里云上的 DRDS DRDSu通通过过 DTS DTS，将，将 DRDS DRDS