《2018年企业级数据库架构探索之路.pdf》由会员分享,可在线阅读,更多相关《2018年企业级数据库架构探索之路.pdf(17页珍藏版)》请在三个皮匠报告上搜索。
1、企业级数据库架构探索之路企业级互联网架构专场1业务快速发展:如何才能做到弹性扩展、且性能满足要求2数据是最重要的资产,但数据孤岛却是现状3稳定和高可用,已经成为企业数据库系统的最大挑战4业务的多样化,单一的数据存储无法有效满足需求5研发人员众多,数据安全、效率、规范的挑战很大企业数据库现状企业级架构的需求可扩展稳定可靠高效安全Scale Up+垂直拆分Scale Out弹性扩展如何提升系统扩展性?DRDSScale Out 解决方案RDS实例2RDS实例1memberuserusermember_00user0user0member_01user4user4member_02user7user
2、7member_03user10user10逻辑库逻辑表物理库物理表user1user1 user2user2user3user3user5user5user6user6user8user8user9user9user11user11最佳实践:利用DRDS进行水平拆分,线性扩展弹性的扩缩容能力超高性能,满足业务极致需求弹性扩展解决方案I D CI D CN M yM yC C A AT T/C C o or rb ba ar r/D D B B PrPro ox xy y/D D N N S SM yM ySQSQ L LM yM ySQSQ L LA A PPPPA A PPPPVPCVPC
3、ECEC S SM yM ySQSQ L LR D SR D SD TSD TSH D MH D MD D B B G G a atetew w a ay ySLSLB BA A PPPPA A PPPPECEC S SD R D SD R D SECEC S SD D B B G G a atetew w a ay yPPP最佳实践:利用云上计算资源,轻松应对业务高峰按需使用云资源,高峰结束后快速释放一站式服务,简单易用RTO成本,扩展如何保证系统的稳定可靠RPO提供多种数据库容灾方案-考量:RPO,RTO,成本,扩展性覆盖数据库容灾的各种需求-容灾建设,监控-容灾演练-容灾切换,数据校验及
4、修复构建数据库异地容灾的完整体系高可用解决方案方案写入方式RPO(Recovery Point Object)RTO(RecoveryTime Object)描述备份上传单点写入最后一次成功上传的备份的时间点到崩溃时间小时级,甚至天级通过常规的数据库备份,将备份集上传至云端OSS存储。DBS备份上云单点写入秒级小时级通过捕获数据库变化日志持续将数据库增量备份到云端,保有数据库最新的数据。单向实时同步单点写入 1秒秒级到分钟级持续增量同步数据变化到容灾端数据库,容灾端数据库为读写打开状态,但逻辑上不接受应用写入。异地多活多点写入 1秒仅应用流量切换时间多活架构,数据多点写入,数据变化双向复制。需
5、要做多点间数据写入的隔离,防止记录在多点被更新。多层级高可用方案数据同步数据订阅如何避免数据孤岛?数据迁移DTS在离线下游消费多活同步上云迁移实时大屏最佳实践:上云迁移:(同异构)数据在云上和云下自由流转在离线:在线的数据库同步到离线,进行实时分析多活同步:单元之间的实时双向同步,满足异地容灾需求下游消费:通过订阅实时增量消息,满足搜索等下游业务实时大屏:在线数据,流经实时计算,大屏展示让数据成为架构的动脉研发效率数据安全兼顾数据安全和效率谁应该有线上数据的查询权限?线上的数据库的变更怎么保障安全?线上数据变更出错了怎么处理?那么多研发人员,DBA是否成为瓶颈?在线数据库查询怎么审计,满足合规
6、?用户层DBA数仓搜索核心功能层数据查询数据变更数据导出结构变更数据轨迹SQL审核全局搜索库表同步任务调度元数据分表查询权限管理日志审计敏感数据SQL安全MySQLOracleMongoDBSQL Server安全控制层数据库支持OceanBasePostgreSQL.HiStore研发测试业务支持运营数据管理企业版业务个性化的权衡文档类型的数据如何存储基于时间序列的数据如何存储大量日志数据如何存储缓存类的数据如何存储TP+AP的需求如何满足ECS自建数据库DMS数据管理服务