2019年提升工程师的幸福感：“用完即销”全量隔离环境一键部署.pdf

1、G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站 G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站提升工程师的幸福感：“用完即销”全量隔离环境一键部署 G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站 目录目录 问题现状问题现状 1 一键拉起全量的隔离环境一键拉起全量的隔离环境 2 环境工程的“水电煤环境工程的“水电煤”3 环境稳定性三板斧环境稳定性三板斧 4 G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站 日常环境的痛点 代码提交 项目分支 开发联调 交付测试 功能测试 合并至主干 回归测试 预发测试 灰度 生产 De

2、v1,Dev2,Dev3 SIT+SIT2 环境特点环境特点：sofa-routersofa-router分组分组 数据库共享数据库共享 中间件共享中间件共享 节省环境资源节省环境资源 缺点缺点：请求路由时而乱飞请求路由时而乱飞 数据互相干扰数据互相干扰 中间件不稳定 中间件不稳定 环境特点环境特点：应用隔离应用隔离 中间件隔离中间件隔离 数据库共享数据库共享 缺点缺点：数据互相干扰数据互相干扰 流水数据被误消费流水数据被误消费 抢占环境现象严重抢占环境现象严重 我们需要新的线下环境我们需要新的线下环境：应用全量隔离应用全量隔离 数据库全量隔离数据库全量隔离 中间件全量隔离中间件全量隔离 代码

3、及时更新代码及时更新 人手一套环境 人手一套环境 全量隔离 Test1,Test2,Test3 Stable Pre Prod G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站 环境不稳定环境不稳定 测试结果不可靠测试结果不可靠！环境稳定性差 环境稳定性差 全局开关推送覆盖其他项目 消息RPC调用乱窜 环境资源抢占 DB稳定性差，stable DB数据篡改影响其他联调环境 项目并发较多时，轮流上SIT作验证，抢占SIT资源 回归结果不准确 回归结果不准确 SitSit回归受环境干扰大回归受环境干扰大 用例累积通过率用例累积通过率70%70%左右左右，稳定性稳定性差差 失败用例

4、人工排查成本高失败用例人工排查成本高 多机房SIT环境，跨洲调用不稳定 环境维护成本高 线下环境部署慢 项目同学疲于奔命于维护多套环境的更新 机器资源消耗大，物理机无法动态扩容满足项目需求 G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站 理想和现实的差距 理想和现实的差距 环境问题 用例设计 工具问题 代码bug 用例失败“有空定位问题，还不如重跑一遍吧，可能就成功了。”G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站 问题的根源 问题的根源 G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站 目录目录 问题现状问题现状 1 环境工程的“水

5、电煤环境工程的“水电煤”3 环境稳定性三板斧环境稳定性三板斧 4 一键拉起全量隔离环境一键拉起全量隔离环境 2 G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站 线下环境原始架构 线下环境原始架构 应用服务非对称部署，跨洲调用 独占中间件，搭建成本高 分库分表结构，数据量非常大 基于物理机搭建，没有上云 没有镜像化 搭建一套全量环境需要2周 G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站 环境的问题和挑战 环境的问题和挑战 G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站 线下环境优化方案 线下环境优化方案 配置代码化 数据库代码化 DB

6、集群一键拉起 DB缩库缩表改造，容量节省60倍 构建混合Infra底盘 声明式环境描述文件 基于场景部署环境，只需要调用“给我一个新环境”这个API即可一键部署全量隔离环境 G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站 一键拉全量隔离环境 一键拉全量隔离环境 配置 代码化 数据库 代码化 一键拉起全量环境 G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站 声明式设计声明式设计Declarative DesignDeclarative Design 应用代码 发布变更 应用配置变更 DDL/DML 变更 ANTX DRM DMS Declarative（声