民生银行数据库智能运维的实现场景与实践.pdf

《民生银行数据库智能运维的实现场景与实践.pdf》由会员分享，可在线阅读，更多相关《民生银行数据库智能运维的实现场景与实践.pdf（28页珍藏版）》请在三个皮匠报告上搜索。

1、民生银行数据库智能运维实践孔再华民生银行数据库智能运维实践民生银行数据库智能运维实践2.02.0基础软件智能运维平台7 0%运维数据中台运维数据中台运用ES，Hadoop，Flink,KAFKA，Redis，关系数据库，时序数据库等技术，整合各种监控数据，日志文档数据，配置数据，关系数据，知识库等数据来源，结合AIOPS分析资产，建立运维数据中台，为运维决策提供数据支撑。实时计算引擎实时计算引擎采用分布式计算框架，缓存数据库等实现实时数据处理，运用人工智能技术实现运维数据价值挖掘。智能算法库智能算法库集成Sklearn、statsmodels、tensorflow、pytorch、prophe

2、t等AI算法库，利用pandas，numpy，sycipy、matplotlib等数据分析工具，自研智能运维相关算法并落地。智能运维服务智能运维服务实现软硬件各类产品智能深度运维。同时对外提供自助服务，通过自定义指标，关系和服务的方式，用户可以实现个性化智能运维。监控告警优化使用动态阈值，提高告警准确性和相关意义产品深度智能运维异常检测，根因分析，智能场景，故障预测，系系统画像，容量预测统画像，容量预测日志异常检测日志异常检测通过比对日志和知识库来报告问题和分析解决问题智能告警分析实时分析相关告警，定位核心问题民生银行数据库智能运维实践民生银行数据库智能运维实践2.02.0数据库产品深度运维1

3、.0支撑海量运维指标.需要采用无监督学习方法，减少人工标注成本异常检测异常检测一步定位到问题sql.问题SQL执行详情分析，定位问题原因.根因分析根因分析指标告警收敛.便于普通用户使用，提供告警场景解释和对应的解决方案.智能场景智能场景异常检测根因分析智能场景民生银行数据库智能运维实践民生银行数据库智能运维实践2.02.0数据库产品深度运维2.0提升系统运行情况洞察力基于标签的运维管理基于性能基线的动态资源调度系统画像系统画像容量问题发现和预警.容量报告，容量规划，资源调度.容量预测容量预测建立健全问题库管理.实时检测日志，发现已知问题.日志检测日志检测系统画像图片来自网络系统画像整体性能得分

4、洞察数据库系统性能整体情况。洞察历史性能差异本次与上次画像对比，洞察性能变化维度和幅度。易于分析性能变化原因。画像标签基于标签了解系统的性能特征。也可以基于标签搜索相似系统。例如基于标签采用不同的运维策略。系统画像多维性能指标基线情况了解行内数据库运行情况，以及本系统的清晰定位。了解与本数据库系统最相似的行内其他数据库。洞察系统基线对比和趋势分析本次和上次性能指标变化，洞察数据库运行状态。基于基线的资源分析和调度例如CPU基线互补的系统，适合调度共享云资源（虚拟机，容器云）。Disk基线互补的系统，适合调度存储资源分配（集中式存储）。相似基线系统瓶颈分析。（宿主机资源竞争分析）系统画像数据选择

5、与处理选择哪些特征？CPU，执行时间，内存读写量，磁盘读写量，数据传输量，TPS等如何处理原始特征数据？分时段？均值？方差？分位数？维度分值和标签选择聚类算法DBSCAN，K-Means比较打分计算依据白天，黑夜，全时段繁忙程度，给性能指标打分归一化计算总体得分标签化依据分类设置标签相似系统计算相似度计算 查找运行特征曲线相近的系统距离计算 查找性能数据相近的系统系统画像当前状态：当前状态：XX数据库6个维度11个关键指标，计算24小时分段性能特征。计算性能总分值。通过画像得分和画像标签了解DB2数据库当前运行状态。发现性能分值变化情况，深度分析变化原因。实现性能分值变化提醒。制作数据库各类标

6、签。加入数据库巡检报告。计算和展示相似系统信息和最反差系统信息。可推广性：可推广性：推广至其他软硬件产品，操作系统等。例如建立OS画像，应用系统画像等。运用画像实现智能运维管理，动态资源调配等。容量预测容量预测需求：解决空间类容量的预测需求，先一步解决容量问题，避免出现容量事故。实现性能容量类预测目标，适用于资源预测告警，资源调度等运维场景。总体算法思路：自主研发时序预测算法，分解数据的整体偏移性，周期性，趋势性和误差，从而实现稳定可靠的时序预测功能。（现有的算法验证效果较差，需要综合各类算法的思想自研。）稀疏点与