05 稳保行动 平安银行 王华.pdf

《05 稳保行动 平安银行 王华.pdf》由会员分享，可在线阅读，更多相关《05 稳保行动 平安银行 王华.pdf（21页珍藏版）》请在三个皮匠报告上搜索。

1、平安银行的混沌工程实践平安银行 王华王华平安银行架构规划及平台服务团队非功能测试负责人1 ASTA前世今生2 拥抱混沌工程3 ASTA解决方案与成果4 典型案例场景分享目录01 ASTA前世今生PaaS平台&Starlink平台立项平安银行Starlink开发运维一体化平台为我行分布式微服务PaaS平台开发与运行提供保障。在测试领域，Starlink对PaaS平台进行了大量破坏性测试覆盖高可靠、高可用、可运维的大部分测试场景。平安银行A+新核心专项测试 测试、开发、运维共同完成 性能测试、破坏性测试、混沌工程同时运用 在测试环境和投产演练环境进行充分测试和验证Starlink整合测试域工具单纯

2、的、孤立的混沌工具已经不能满足Starlink支持银行各类测试场景的需求。Starlink混沌工程实验室ASTA产品化、平台化发展，为平安银行端到端交付流程提供混沌工程模块的服务能力。01020304ASTAASTA的缘起Starlink-AstaStarlink，实现平安银行数字化研发管理，融入银行EPG研发管理基线、内建质量、安全SDLC流程，实现端到端自动化，提供精细化效能度量。产研活动透明透明IT活动、透明IT成本，过程可见，可追溯；关注项目、需求价值流动。效率需求交付周期提升18%-48%；交付产能提升30%，流水线构建时长缩短46%,自动化构建提升56.4%平均发版时长降低，标准化

3、操作，节省人力质量通过质量门禁进行安全与质量风险拦截，首移有效率提升6%，自动化测试覆盖率提升33.1%安全合规平台引入DecSecOps实践，2020年9月和12月，分别通过信通院DevOps能力成熟度模型系统和工具、和DevSecOps的首批评级，实现敏捷与安全协同，创造更大价值运维工作台ITSM代码仓库包管理代码扫描包库扫描CICD流水线自动化测试性能测试发布管理 Artifactory GitACESonarQube Xary发布AdminSeiyaSeiya部署管理Lotus、UCDK8S、PafaJIRADLM单元测试Unit Sprint运维管理需求缺陷管理TMS效能全景Jira

4、、Starlink用户评价Starlink安全漏洞扫描Fortify项目Starlink数据管理confluence Jenkins4ACMSSQL扫描SQM功能测试TMS质 量/安全 管 理Starlink功能全景Starlink作为全行组织级研发运维一体化平台。研发领域承担全行100%代码、制品管控，发布领域全行99%应用工具发版接入。混沌工程ASTA项目及需求管理研发管理测试管理发布管理效能管理02 拥抱混沌工程对韧性的需求对可靠性的要求复杂系统l子系统与应用处于不断的变化中l系统日益庞大与复杂l 生产应急预案，内部风险检视，研发流程检视l 运维、开发、测试和QA共同应对风险，提供系统韧

5、性l 生产环境与测试环境都需要及时发现漏洞，提高韧性l 高可靠的硬件设施也可能发生故障l 应用的高可靠设计可能引起系统故障银行需要混沌工程吗l 暴露系统未知的、脆弱的环节l 及时修复、加固，防患于未然l 提高服务的可用性和持久性l 降低维护成本，改进事故处理流程l 增强故障应对能力，提供故障抗性价值和意义定义假设实验论证定义并测试系统的“稳定状态”创建假设模拟现实世界中可能发生的事情证明证明or反驳你的假设反驳你的假设l 建立一个稳定状态的假说l 用多样的真实世界事件作验证l 在生产环境中运行实验l 持续自动化运行实验l 最小化爆炸半径基本原则如何实践混沌工程03 ASTA解决方案与成果AST

6、A 混沌工程系统模型故障库场景库案例执行业务场景提供流量注入，用户自由定制容器和虚机的各种故障注入场景将场景组合、预定义形成便于用户选择的模板确定实验的范围和目标确定实验执行的规则收集独立的日志便于分析链接监控系统便于观察系统状态变迁故障注入能力涵盖大部分实验参数设置满足不同的实验要求网络l 流控l 丢包l 延时l 分区硬件资源l CPU占用l CPU故障l 内存占用l IO占用文件系统l 空间耗尽l NFS故障l 文件权限进程l 异常退出l 进程挂住l IPC异常服务器l 系统重启l 硬重启NTPl 网络时移AS