8-第四范式-基于k8s的自动化混沌工程实践-王丹丹.pdf

1、基于k8s的自动化混沌工程实践 王丹丹 高级测试开发工程师 Content l混沌工程现状 l混沌工程难点与解决方案及实践 l混沌工程变种测试及实践 l混沌工程全流程自动化 混沌工程现状1 什么是混沌工程 混沌工程是一门新兴技术学科，它的初衷是通过实验性的方法，让人们建立复 杂分布式系统能够在生产中抵御突发事件能力的信心。 - Principles of Chaos Engineering 故障模拟 随机注入探索验证 系统容错能力 混沌工程现状：更专注故障注入 19年混沌工程主流的开源工具 2019.032019.12.31 提供通用解决方案提供k8s平台上混沌测试的能力 两者均更专注于故障注

2、入 范式专注于混沌工程全流程自动化 混沌工程现状：缺少全流程自动化 微服务下我们有几十上百的服务需要依次注入故障和测试，工作量巨大，仅有 故障注入工具是不行的，需要全方位的自动化解决方案 故障注入 异常监控系统测试 故障恢复 结果分析 混沌工程难点与解决方案及实践2 混沌工程的难点 0202 0303 0404 难点 故障全流程测试运行的效率至关 重要 故障运行效率 当故障注入后，如何评估系统受 到的影响及影响范围 故障影响评估 基于k8s这种云原生环境注入复杂 故障注入方式 目前开源工具只提供运维级异 常，缺少更多业务级异常 故障类型 0101 混沌工程难点之故障类型 开源工具大多仅支持简单

3、运维级故障 缺少更丰富的k8s故障模拟 - 如：k8s服务故障、节点故障等 缺少业务级故障模拟 - 如：业务边界、复杂的业务异常等 更丰富全面的故障类型 CPU过载IO过载网络延迟网络丢包 Pod级故障 K8s服务级故障节点级故障 api serverkube-dnskubeletkube-proxy 复杂业务业务边界 运维级故障 k8s级故障 业务级故障 Client-go Jvm-sandbox Proxy-server 业务异常 Docker故障 业务级故障类型案例：模拟熔断场景 业务级故障类型案例：模拟熔断场景 模拟成本高 对hadoop集群的资源消耗 模拟100个并发YARN任务 业务级故障类型案例：模拟复杂业务异常 模拟所有底层组件的审计请求失败代价大 proxy-server可以劫持精确的用户请求进篡改转发 混沌工程难点之故障注入方式 被测服务container中安装 直接修