蔡鹏-混合云环境下的数据库治理实践（30页）.pdf

1、 全球敏捷运维峰会 广州站混合云环境下的数据库治理实践混合云环境下的数据库治理实践演讲人：蔡鹏 全球敏捷运维峰会 广州站货拉拉介绍货拉拉介绍2020 500500人人2021 20002000人人香港香港 :Lalamove团队国内国内 :技术团队(深圳、上海、北京、杭州、武汉)覆盖5个国家及地区 全球敏捷运维峰会 广州站混合云数据库治理背景介绍0101混合云下数据库治挑战0202混合云数据库管理平台介绍030302经过一年建设取得的成效0404云时代下对DBA的一点思考0505目录 全球敏捷运维峰会 广州站混合云数据库治理背景介绍混合云数据库治理背景介绍 全球敏捷运维峰会 广州站混合云数据库

2、治理背景治理瓶颈突出系统稳定性差老板很生气Excel式运维纯人肉支撑管控系统40+后知后觉故障频发无/错标准监控混乱被动响应被研发吊打幸福感极低MySQLAuroraCodisClusterSentinelKafkaRabbitMQPGTIDBMongoCanalMycat.制约业务发展手段原始难以为续治理环境异常复杂5个DBA10款选型 3朵云5个IDC 全球敏捷运维峰会 广州站混合云数据库治理挑战混合云数据库治理挑战 全球敏捷运维峰会 广州站治理挑战对云缺乏了解对云缺乏了解1.自建时代积累的经验失效2.第一次用云、不熟悉套路3.交了一些“学费”4.驾驭云不简单云商差异化云商差异化1.厂商标

3、准差异,运维方式不统一,标准化交付复杂2.厂商PaaS实现差异运维体验割裂环境复杂环境复杂1.云服务、自建服务共存2.存储选型繁多治理难以专精3.3.更严重的是很多选型我也第更严重的是很多选型我也第一次接触一次接触统一管理复杂统一管理复杂1.多云下提供一致性的运维、研发、体验难度大2.多云+全球化一体管能力建设复杂度高 全球敏捷运维峰会 广州站痛点&诉求BossBossDEVDEVDBADBA既要既要|稳定性又要又要|研发效率还要还要|成本流程高效一点自助化多一点别让我吼自动化多一点人肉少一点 全球敏捷运维峰会 广州站ABCDE做减法果断放弃hold不住的数据库选型定标准运维规范研发规范SLA

4、/SOP建能力平台化建设个性化订制70分标准现有后优切记完美主义优先解决生存问题优先解决致命痛点问题 一言以蔽之:如何通过平台化手段落地&解决 治理基本思路 全球敏捷运维峰会 广州站管控当前所有DB选型该有的功能一个都不能少科学合理的云资源使用白屏自助提升研发体验覆盖覆盖面广面广脚本化自动化平台化智能化没有时间去演进、要一步到位治理一般演进过程实现目标平台化阶段与目标 全球一站式、一致性运维与研发体验 功能功能面全面全提升研提升研发效率发效率稳定稳定成本成本 全球敏捷运维峰会 广州站混合云数据库管理平台介绍混合云数据库管理平台介绍 全球敏捷运维峰会 广州站平台整体架构React技术栈技术栈No

5、de JSPythonGolang平台面向DBA平台面向Dev小程序平台Open-APIAPI-Getway 统一网关Service API国内Service API新加坡Service API.数据总线MySQLRedisKafkaESMQ collectoragentagentagentagent监控系统组件集组件集自愈系统SQLReview任务调度无损DDL.全球敏捷运维峰会 广州站MySQL平台化建设平台门户平台门户监控报警监控报警告警汇总健康大盘运维管理运维管理集群管理实例管理变更系统任务系统归档系统流程系统资源管理资源管理新建资源资源交付资源回收资源画像应急应急/自愈自愈SQL查杀

6、SQL限流SQL阻断新增节点数据分析数据分析冷热DB冷热Table未使用表 未使索引慢查分析 容量分析巡检系统巡检系统自增水位容量巡检性能巡检报警巡检成本管理成本管理成本趋势成本分布成本汇总成本优化安全合规安全合规日志审计数据脱敏密码合规授权合规报警触达报警收敛报警静默基于云底座基于云底座+自研构建自研构建北美北美印度印度新加坡新加坡国内国内巴西巴西规格扩容河流图 一站式一站式运维平台运维平台屏蔽多多云运维差异覆盖90%运维场景 全球敏捷运维峰会 广州站MySQL中间件建设DBProxy-DALDBProxy-DAL分库分表0-1270-127128-255128-25510231023.DA