专场3.1-多云环境下的云数据库管理-李邦国.pdf

《专场3.1-多云环境下的云数据库管理-李邦国.pdf》由会员分享，可在线阅读，更多相关《专场3.1-多云环境下的云数据库管理-李邦国.pdf（32页珍藏版）》请在三个皮匠报告上搜索。

1、多云环境下的云数据库管理-bilibili DBA 李邦国自我介绍自我介绍姓名：李邦国bilibili DBA；负责B站数据库服务支撑，包括MySQL、TiDB、MongoDB、Redis，MySQL运维及开发Owner；负责数据库管理平台开发及维护，是公司MongoDB容器混合数据库管理平台、混合云数据库管理平台、表结构变更版本管理等独立开发者；熟悉多种业务场景架构，对维护高并发和海量数据业务有丰富经验。B站的数据库业务选型IDC自建和云DB在B站的业务场景在B站各自的优势引入多云以后带来的问题管理困难多种云厂商多种云厂商、多个可用区多个可用区没有统一的平台进行管理没有统一的平台进行管理流程

2、、审批不完善流程、审批不完善用户使用姿势不规范用户使用姿势不规范权限管控不严格权限管控不严格成本增加网络问题导致部分操作需要人工网络问题导致部分操作需要人工 IDC服务器没办法直连，需要通过控制台或者中控机来执行 涉及多个区服的游戏没办法通过统一脚本批量执行短期成本低于自建短期成本低于自建IDC，长期成本却更高长期成本却更高 自建IDC可以混部 云DB的需要持续消费交付更慢，自动化不完善交付更慢，自动化不完善 因为自动化不完善，导致交付很快的云DB反而比自建IDC的DB交付更慢 流程繁琐用户诉求用户诉求统一的元数据管理统一的元数据管理完善的审批和变更流程完善的审批和变更流程自动化的审核和执行自

3、动化的审核和执行游戏的批量导入需求游戏的批量导入需求自动化的实例初始化自动化的实例初始化集中化的操作平台集中化的操作平台总体架构整体架构主要的功能和组件功能功能 元数据管理 数据管理 批量导入 表结构变更版本管理 告警管理组件组件 批量导入 Agent Executor批量导入Agent文件格式专门的脚本机 防止文件太大 下载、解析等不占用中控机负载并发执行 相同步骤下SQL并发执行，提高效率 不同步骤按顺序串行执行文件分发 根据路由表，将SQL文件分发到对用的proxy机器 每个任务执行信息更新到任务表SQL文件导入 调用executor，导入文件Executor业务治理表结构变更版本管理表

4、版本表结构变更版本管理主要功能：主要功能：表结构变更版本管理生命周期管理告警管理存在的问题告警规则固定告警规则固定 规则调整会影响到所有集群 用户没办法单独对自己的DB集群定制告警规则告警通过服务树发送告警通过服务树发送 服务树绑定DB有些只是为了平台访问 服务树跟业务应用强绑定 服务树内的部分成员不想接收告警告警噪音较多告警噪音较多 电话告警会发送给全体dba 用户收到的告警较多告警管理治理告警组告警组 告警组成员设置 可以设置值班人员 支持告警升级告警模版告警模版 总的告警模版 集群根据告警模版创建告警规则迁移迁移 存量集群向前兼容，根据服务树自动创建告警组 增量集群默认不绑定业务的告警组

5、 所有集群默认都会绑定DBA的告警组告警管理治理后告警自定制告警自定制 用户可以根据自己的需求定制自己业务集群的告警规则 用户可以通过添加/变更告警组及成员信息告警告警分级分级 紧急、警告、事件告警收敛告警收敛 用户收到的告警种类从11种减少到5种 DBA告警噪音减少降本增效部分业务下云部分业务下云 uat、fat环境的云db实例 部分非核心业务 游戏部门非游戏业务利用率低的利用率低的db实例优化及降配实例优化及降配 本身利用率低 磁盘利用率高，但是内存和CPU使用率很低。主库负载很高，但是只读实例负载很低DB实例清退实例清退 已下线业务高成本云高成本云-低成本云的迁移低成本云的迁移用户及权限

6、收敛root用户回收用户回收业务用户权限收敛业务用户权限收敛只保留insert、update、select，如果需要delete额外申请权限管控到库级别业务用户控制到只有两个，不再根据业务区分用户第三方业务专门用户，便于区分业务以及排查问题变更规范完善数据库开发规范并开展培训完善数据库开发规范并开展培训数据库设计规范，包括库表创建规则等语句书写规范，各种操作语法的事例数据库变更规范，分批执行等平台变更审核规范，建表、修改表规范等禁止触发器、函数、存储过程等完善审批流程完善审批