专场21.4-基于人工智能技术的数据库故障诊断最佳实践-李忠良.pdf

1、基于人工智能的数据库故障诊断技术李忠良+中兴通讯+高级系统架构师个人介绍李忠良 中兴通讯 高级系统架构师现任中兴AI算法团队技术负责人，先后研发了磁盘故障预测、数据库智能索引推荐、网络智能化等技术，对AI4DB有浓厚兴趣。秘密目录CONTENTSn技术背景技术背景nEBASE智能故障诊断方案智能故障诊断方案n分段式故障识别关键技术分段式故障识别关键技术n实验效果实验效果n未来工作未来工作Part 1Part 1技术背景业界相关数据库产品情况n云原生、分布式、HTAP是数据库未来架构演进趋势n数据库智能运维管理组件已经成为数据库的基本标配组件华为腾讯阿里中兴服务7*24客户服务、数据库专家服务、

2、云API管理套件l 数据管理DASl 数据复制DRSl 数据库安全DBSSl DB Brainl 数据传输订阅l 备份恢复l 容灾l 数据安全l DMSl HDMl DASl DTSl ADAMl DBSl 数据管理UIOMl 数据迁移l 数据备份l 异地容灾引擎产品NoSQLl DCSl Redisl Redis/Memcachel TcaplusDBl Tairl Redis/Memcachedl DCachel RedisOLTPl Taurus（云原生）l GaussDB（openGauss）l MySQL/PGl TDSQL-C（云原生）l TDSQL（MySQL）l MySQL/M

3、ariaDB/PGl PolarDB（云原生高可用集群）l OceanBasel PolarDB-X（云原生分布式）l MySQL/PG/MariaDBl GoldenDBl EBASE-Tl EBASE-C（云原生）OLAPl GaussDB（DWS）l TDSQL-Al AnalyticDBl EBASE-AHTAPl 在OLTP、OLAP中增强l TDSQL（PostgreSQL）l HybridDB图DBl GES图数据库l TGDBl GDB图数据库l 蚂蚁金服GeaBasel EBASE-G时序DBl GaussDB(for Influx)l openGemini（开源版本）l C

4、TSDBl Lindorm TSDBl 时序数据库 InfluxDB 版l EBASE-TS数据库技术发展趋势数据库架构创新技术数据库新硬件加速技术数据库智能优化技术异构计算专用硬件、独立内核、异构计算、专用硬件、独立内核、异构计算、FPGA加速加速GPU众核SIMD加速MISDPCIe DirectPM加速FPGA查询优化NVMe SSD内存访问加速内置AI引擎性能加速、降低运维成本、提升系统可靠性性能加速、降低运维成本、提升系统可靠性学习型索引查询优化代价估计智能执行外置AI引擎智能调参负载预测故障诊断SQL优化云原生HTAP超融合、云原生、数据库超融合、云原生、数据库Serverless

5、单主共享多主共享分布式存算分离HTAP向量化执行存储适配行列自动转换智能调度基数估算任务优化智能索引故障预测内存分离硬件加速多Master并行双擎合一PM访问加速DRAM结合NVM存储加速PM访问优化因新硬件快速发展，数据规模大幅增长，数据库云化趋势显著、硬件提升性能趋势显著、AI赋能优化趋势显著AI4DB：将AI Native技术应用于数据库内核实现目前业界研究热点：Oracle Self-Driving Datebase、华为GaussDB AI Native、腾讯、阿里、百度等对数据库AI技术都有深度研究和应用智能数据库技术蓝图异构硬件（GPU&CPU&TPU&NPU）Tensorflo

6、w、Pytorch、MADLibAI框架外置引擎参数调优索引推荐故障诊断负载预测自愈框架故障自动修复内置引擎AI新型索引AI物化视图AI代价估计AI分布估计算法GCN/GraphSage/GATDDPG/AC3/DPPOLR/DTree/LightGBMLSTM/prophet/TCN数据数据采集数据统计数据标注资源智能调度数据清洗学术相关工作数据典型方案优点缺点基于指标数据的OS资源消耗、负载、查询明细，包含时间，耗时，具体的SQL，使用的查询计划、OS和DBMS的配置参数，环境变量，kernel的参数，数据库server的参数，网络配置，相关驱动DBSherlock 1、FluxInfer