楼海斌-数字化安全生产平台的思考以及落地.pdf

1、数字化安全生产平台的思考以及落地楼海斌(银桑)阿里云云原生高可用技术专家行业背景十四五规划下加速各行业全面加速数字化升级“加速数字化发展：发展数字经济，推动数字产业化和产业数字化，推动数字经济和实体经济深度融合，打造具有国际竞争力的数字产业集群。加强数字社会、数字政府建设，提升公共服务、社会治理等数字化智能化水平”数字政府网上办事大厅、数字防疫金融互联网银行、智能风控医疗健康智慧医疗、全国联保新零售智慧门店、全域营销交通物流智慧收费、出行服务能源水利精准预测、智慧水利生产制造生产调度、工业检测游戏云游戏、AR/VR数字化转型中业务连续性保障的挑战工具分散告警难收敛人员边界模糊架构复杂性缺乏安全

2、意识无应急体系监控报警太多，如何过滤对业务有价值的报警事件，如何有效收敛？1监控工具分散，如何数据共享和统一，实现全景展示、全业务覆盖？2业务架构愈发复杂，敏感程度也变高，如何保障业务稳定性？3复杂业务场景下保障稳定性和连续性的职责边界不清，如何协同？4线上线下故障如何规范化预防和应对，应急流程如何保障顺畅？5故障定级规则不统一，如何追溯与改进？6传统运维手段不足运维手段和工具割裂，无法形成有效的组合拳工具割裂上云/云原生浪潮下，多数运维手段任然停留在基础设施层面而非业务层面面向基础设施，非业务面对越来约复杂的业务架构和越来越快的业务迭代，只能被动运维，难事前有效预防，事中从容应对被动运维缺乏

3、体系化、规范化、可扩展的稳定性保障体系缺乏规范体系阿里巴巴组织-技术-文化三位一体的安全生产体系值班长演练验收容 灾 演 练故 障 演 练预 案 演 练全 链 路 压 测演 练全 链 路 功 能仿 真 演 练组织机制文化全局架构容灾能力发布&变更风险控制异 地 多 活同 城 容 灾灰 度 蓝 绿安 全 生 产 环境运行态稳定性防护限 流降 级流 量调 度弹 性伸 缩开 关预 案运行态稳定性度量压 测故 障注 入变 更 管 控攻 防 演 练依 赖治 理故 障 发 现故 障 应 急根 因 定 位故 障 恢 复故 障 复 盘故 障 数 据 挖 掘工 单 系 统活 动 平 台舆 情 中 心大 促 中

4、控 台数据中心系统数据垂 直 安 全 生 产考 试 认 证伏 波 讲 堂熔 断 机 制变 更 规 范运 维 红 线红 黑 榜 奖 惩安全生产日月集 团 安 全 生 产 门 户应用数据流量数据流程支撑体系稳定性专项故障平台稳定性能力体系业 务 对 账变更数据业务数据故障数据AIOPS智 能决 策专 家系 统A I 算 法数据运营稳 定 性 故 障 分稳 定 性 运 营 报 告运行态状态监控链 路监 控系 统监 控业 务监 控S L A监 控全局风险治理监控覆盖度全 面 灰 度数字化安全生产平台介绍数字化安全生产平台（Digital Production Stability，简称DPS）是一站式的

5、业务连续性保障平台,解决安全生产过程中的组织协同难,应急效率低,业务故障频发,SRE理论落地实施难等问题,提升业务连续性.DPS Scene(业务场景层)DPS Domain(能力领域层)DPS Flow(能力编排层)DPS Solution(行业方案层)DPS SDK(能力扩展层)DPS Product(产品层)故障预防三板斧故障快恢1-5-10故障演练红蓝攻防容量管理大促一体化容错管理韧性评测容灾管理多云多活质效医保数字防疫金融系统上云.业务流程编排用户租户组织业务监控域容灾域快恢域故障域变更域演练域协同域CRD Spec阿里商业阿里开源三方开源业务大屏自定义配置核心特点场景化业务保障流程

6、产品化安全生产解决方案标准化安全生产能力管理数字化安全生产度量1-5-10介绍5分钟故障处置监控发现告警通知人工上报故障确认故障通告故障响应故障定位故障快恢恢复验证1分钟故障发现10分钟故障快恢1分钟故障发现体系建设落地面临问题解决思路核心业务监控大盘监控能力指标风险覆盖率1分钟发现有效率发现漏报率监控系统多样导致数据分散自研监控商业监控开源监控监控指标复杂导致重点缺失网络传输监控(丢包,延迟)服务器系统状态(CPU,load)虚拟机,容器监控应用运行状态(成功率,qps)业务运行状态(订单创建量)用户体验(白屏,内容错误.)人员视角不同导致问题遗漏业务