腾讯云数据库智能运维发展和实践（26页）.pdf

1、腾讯云数据库-王云龙个人简介个人简介王云龙王云龙腾讯云数据库专家产品经理主要经历：曾任百度DBA、数据库运维平台研发、公有云数据库产品研发1.数据库智能运维时代的演进2.数据库智能运维的分级3.腾讯云数据库智能运维的探索和实践4.数据库智能运维时代的价值Part 1 数据库智能运维时代的演进 石器时代工具时代专家时代智能时代业务驱动开源技术驱动单机少量集群分散式管理单机大量集群集中式管理分布式，多种类型集群平台化管理弹性、集约成本云化管理成本和效率数据库开源数据库中间件等组件开源数据库运维管理平台的建设KVM、K8s等虚拟化技术开源和Tbase等数据库技术开源数据库运维-石器时代client

2、Aclinet Bclient CDB ADB BDB C主要问题：业务不出问题就行了主要手段：人主要阶段：知识积累阶段数据库运维-工具时代鸟枪换鸟炮鸟枪换鸟炮client Aclinet Bclient CDB ADB BDB C数据库中间件主要问题：运维效率问题主要手段：人+脚本工具主要阶段：知识转化生产力数据库运维-专家时代知识共享的时代知识共享的时代数据库实例自动化管理日志服务监控服务审计服务SQL自助主要问题：运维效率，流程管理，资源成本主要手段：人+脚本工具+平台主要阶段：知识共享时代，但还需要自己把知识转化为生产力数据库运维-智能时代云云+智能的时代智能的时代统一云管平台主要问题

3、：弹性，智能主要手段：人+脚本工具+云平台+智能引擎主要阶段：数据库能力和经验共享 全链路日志和监控 机器学习和大数据分析 专家经验最大化输出石器时代工具时代专家时代智能时代第一次数据集中公司内：从分散管理到集中管理第二次数据集中行业内：从云下到云上技术和能力共享的时代请拥抱这个时代的到来Part 2 数据库智能运维的分级 数据库智能运维的分级人工参与智能运维运维人工化运维工具化基础平台化高级自动化服务智能化Level 0Level 1Level 4Level 3 Level 2 人工完成数据库的部署、监控、SQL上线、故障处理等操作 常用运维操作脚本化，通过脚本+预案的方式辅助DBA进行管理

4、 数据库运维平台具备基础管控能力的自动化 主要包括自动化部署、监控、故障切换、灾备、上线等能力 数据库运维平台具备高级管控能力的自动化 主要包括容量管理、异常诊断、数据审计、优化分析、流量管控等能力 服务完全由数据库系统接管，不需要人工处理 主要包括自适应、自修复、自优化、自决策等高度自治的管理能力Part 3腾讯云数据库智能运维的探索和实践腾讯云数据库智能运维体系数据采集全量存储数据加工计算智能实时诊断智能化数据库管控平台智能化数据库管控平台智能化决策引擎智能化决策引擎自适应数据库引擎自适应数据库引擎训练数据深度强化学习配置推荐TencentDB自适应自动化自决策数据库实例自动化管理日志服务

5、监控服务审计服务SQL自助实例管理度量指标采集云数据库自动性能优化系统 CDBTuneAn End-to-End Automatic Cloud Database Tuning System Using Deep Reinforcement Learning-SIGMOD 2019 用户很难发现导致数据库系统性能下降的原因并有效地解决 对于拥有数十万计用户实例的云服务提供商来说，完全依赖数据库专家进行数据库参数调优并不现实 利用 AI 技术解决数据库系统性能问题，为用户及时地调整数据库系统参数，以保证数据库的性能维持在一个较优的状态 性能调优结果首次全面超越数据库专家 在线性能调优需要的时间最

6、短，比otterTune快一倍 降低学习门槛和提升调参效率基于时间序列的预测模型（Prophet）在容量管理上的应用初始数据预测趋势和实际结果的对比累加回归模型：y(t)=g(t)+s(t)+h(t)+etg(t)：growth(增长趋势)s(t)：seasonality（季节趋势）h(t)：holidays（节假日对预测值的影响）et：为噪声项对我们的价值：容量管理：知道在什么时间点进行资源扩容挖掘大客户：发现未来需求量巨大的潜在客户对客户的价值：对自己使用的资源量进行分析，提前预测在什么时候需要进行扩容方便预算