高新刚-维稳618和双11：京东科技数据库海量运维的生态体系建设与实践（16页）.pdf

《高新刚-维稳618和双11：京东科技数据库海量运维的生态体系建设与实践（16页）.pdf》由会员分享，可在线阅读，更多相关《高新刚-维稳618和双11：京东科技数据库海量运维的生态体系建设与实践（16页）.pdf（16页珍藏版）》请在三个皮匠报告上搜索。

1、 全球敏捷运维峰会 广州站维稳618和双11：京东科技数据库海量运维的生态体系建设与实践 演讲人：高新刚 全球敏捷运维峰会 广州站海量运维的高可用体系海量资源管理海量告警管理目录大促备战分享海量运维概述 全球敏捷运维峰会 广州站海量运维概述数据库集群DBDBDBDBCDS/ShardingSphereMyAuditAKSLVS/SLBDBRepDTSPillBoxArchiver大数据平台目标数据库Hadoop磁带库DBCMMyDBCleverDBOnLineMega研发DBAAPP 全球敏捷运维峰会 广州站海量运维的高可用体系优质的容灾服务质量RTO122112331134xyzxx+y分组

2、半同步111122221232212xyz12从库宕机会影响ack应答，导致业务夯住从库节点越多，ACK应答数量多，影响数据库事务处理能力主库宕机，容灾切换后，ack数量需要手动调整解决从库宕机，网络抖动对ACK应答数量的影响使用最少的ACK应答数量，实现数据一致性保障避免主库宕机，对容灾切换的影响。需要更多的从库节点高可用体系的数据一致性保障 全球敏捷运维峰会 广州站海量资源管理网段、ip服务器机房、机柜实例业务线数据库资源自动上报服务器使用状态管理数据库与应用信息匹配数据库与业务研发匹配业务访问链路拓扑信息历史信息追溯服务器、实例、库、业务线血缘关系元数据变更管理资源使用视图资源使用率报表

3、API服务 全球敏捷运维峰会 广州站触发告警汇总分析以点推面调节基线精确告警 制定各告警基线 告警方式和级别 告警接收人n触发基线 级联效应 调整参数n预测规避 自适应阈值调配 自调节时间窗口 调整报告 n自动调节 等级划分，主次分明 单因多果关联性分析n筛选分析 减少无用告警 降低感官疲劳度 节省资源n精确告警海量告警管理 全球敏捷运维峰会 广州站大促备战分享备战准备案例复盘大促备战巡检容量评估优化改造数据归档压力测试切换演练变更管控大促调整监控大屏应急处理事件管理案例分享经验总结研发赋能、抓核心链路监控告警、高可用切换、备份恢复、容量管理、变更管控、应急方案 全球敏捷运维峰会 广州站大促备

4、战分享自增主键自增主键备份备份表分区表分区TopTop SQLSQL连接数连接数慢查询慢查询定时调度定时调度硬件硬件&机房机房业务梳理业务梳理单表21亿全局自增主键时间维度的分区时间维度的拆分活跃连接数max_connectionsSQL 频次SQL 效率备份作业有效性检查SQL 消耗优化改造业务跑批ETL抽取磁盘Raid卡出口带宽 机柜超电双电链路温湿度数据库依赖程度事务读写逻辑上下游调用逻辑磁盘空间磁盘空间热点表热点表容量评估容量评估系统相关DB相关数据量大拆分不均匀影子表硬件容量性能容量备份调度信息采集 全球敏捷运维峰会 广州站总内存：128G innodb_buffer_pool_si

5、ze：80G 实际使用内存：118G connections：2000=实际使用内存Innodb_buffer_poolSession级别*conn泄漏内存？118G80G20G28G大促备战分享 全球敏捷运维峰会 广州站Ptmalloc：glibc 实现的内存分配器标准实现per thread独享arena提升多线程性能线程结束前不主动回收内存浪费严重Jemalloc：共享arena线程缓存进一步提升多线程性能内存主动回收减少内存碎片灵活api,可审计和回收大促备战分享 全球敏捷运维峰会 广州站某系统承载了京东科技业务的流水明细，每日增量5000w+，按日期做的分库分表不定期OOM表数量多空表较多开启information_schema采集定期回收表碎片，内存增速更快加载jemalloc插件后（my_jemalloc.so），内存保持平稳，不持续增长，避免发生oom重启大促备战分享 全球敏捷运维峰会 广州站经验总结容灾演练数据治理资源管控业务优化性能优化压测方案持续做、模拟多场景、应急方案优化缓存思想、MQ消费数据冷热分离连续自助化、业务视角、管控视角、发现隐患解决问题智能评分、使用效率优化方案、合理扩容减少交互、简化逻辑熔断降级、连接池优化智能压测、营销预估、服务的服务、监控的监控大促备战分享 全球敏捷运维峰会 广州站THAN