2019年京东物流超大规模仓储系统智能监控揭秘.pdf

1、G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站京东物流超大规模仓储系统智能监控揭秘G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站目录问题及挑战1超大规模监控系统解决方案2面向AIOPS的智能监控最佳实践3规划&展望4G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站京东物流仓储系统监控的问题及挑战 仓储库房分布地域广 机器、应用数量多 资产变化频繁 监控对象种类杂 部署环境不一致 网络环境不稳定目前京东物流在全国运营了约600个大型仓库，仓储设施占地面积超过 1500万 平

2、方米。同时印尼、泰国等国际化仓储数量仍在不断增加各地库房分布地域、国际化仓的大量投入运营，以及各地网络运营商差异导致部分集群到监控服务端的网络环境不一物流相关业务的不断发展导致了频繁的开仓、关仓，从而导致资产配置信息变化频繁除了各地仓储库房的机器外，京东物流在大型IDC数据中心运营着数万台机器和数千个应用各地仓储机房内运行着大量的网络设备、服务器、存储、刀片服务器等，且厂商型号众多，此外也包含大量的docker和云主机目前仓储并存多套应用发布环境，各环境部署方式、环境依赖不同，导致监控复杂化G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站AIOPS趋势下智能监控系统的新挑战A

3、IOPS?AI应用场景分散，成熟度不一致 业务多样化，算法工程化困难，大部分场景距离实际应用有一定的距离 监控指标深度，专业化程度不够 数据源不够全面 频繁变化的资产，不可靠的CMDB 运维专家匮乏 复合型人才匮乏：AI和算法工程师+运维开发G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站目录问题及挑战1超大规模监控系统解决方案2面向AIOPS的智能监控最佳实践3规划&展望4G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站对监控的认识 什么是监控？为什么需要监控？监控的价值？监控的范围、粒度？监控体系的规划？监控在运维体系中的定位？监控和资产、运维的关系？监

4、控=无人值守？监控和AIOPS的关系？监控到智能监控的演化？。G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站监控运维体系规划G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站监控运维体系规划G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站建设目标&要求与AI技术结合进行故障、性能及容量的预测，实现监控智能化推动规范化、自动化的运维管理流程，提供完善的故障处理和快速修复机制实时掌握数据中心整体资产配置使用情况、运行趋势和健康状况，为决策层提供数据依据及时性故障在第一时间告警并通知管理员准确性不漏报、不误报精确性秒级监控、细粒度兼容性兼容各服务

5、器、应用、中间件扩展性插件式、易扩展、不改代码可用性高可用、无单点故障以资产为基础为运维管理提供数据支持当故障出现时，能快速和准确定位问题根源使用大数据分析技术挖掘监控数据价值，助力业务增值能力成熟度模型G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站构建可靠的CMDB自动发现自动发现业务接口业务接口（消息）（消息）流程化流程化定时同步定时同步自动发现是降低维护成本的一种有效方式，提供固定IP段、协议参数等信息自动扫描资产信息以及资产配置信息资产配置信息变化频繁，在资产变更时发送广播消息(或通过接口)通知其他子系统同步变更，保证资产变化实时同步运维资产信息变更的场景化流程梳理

6、，比如说开关仓，服务器开关机/断电，服务器下架等等，这些流程需要与laos等平台打通，建立标准化变更流程人工维护人工维护结合现有的IT运维流程，在某些场景下通过人工变更把CMDB信息维护准确，比如主机所属负责人变更、人员异动、机器异动等，可以通过人工直接变更完成资产数据来源多样化，目前有来自j-one/cap/dbs/中间件等其他平台的资产配置信息，通过定时同步的方式作为补充手段G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站技术架构采集决策处理agentjdos apizabbix api通知自动处理人工处理规则管理规则匹配回溯分析预设规则知识库深度学习决策树异常反馈分析使