01-美团优选智能质量方案探索-王昭.pdf

1、美团优选智能质量方案探索美团优选测试部工具链组/王昭微服务架构对质量的挑战智能化解决方案-服务链路分析实际应用案例下一步改进方向微服务架构对质量的挑战智能化解决方案-服务链路分析实际应用案例下一步改进方向微服务架构对质量的挑战智能化解决方案-服务链路分析实际应用案例下一步改进方向大纲微服务架构对质量的挑战智能化质量体系思考智能化解决方案探索下一步工作一步改进方向 复杂且动态变化的关联依赖关系，包括服务，接口，数据库，消息队列，缓存，定时任务等之间的依赖关系，难以准确评估变更影响范围 服务间有大量的通讯需求，主要是消息和rpc调用，存在隐藏契约导致的质量隐患 接口数量的爆炸，需要大量的自动化测试

2、用例覆盖，而大量的用例又带来了维护成本高和效果难以评估的问题快速迭代可维护性可扩展性高并发高可用灰度发布典型的质量流程需求沟通开发自测提测沟通测试设计和执行测试评估并产出报告发布上线线上监控偏重执行，做什么和如何做基本靠人工经验四肢发达头脑简单现有各类质量工具的特点基于人工经验的质量工具日益复杂化，智能化，且动态变化的业务系统微服务架构对质量的挑战智能化解决方案-服务链路分析实际应用案例下一步改进方向微服务架构对质量的挑战智能化解决方案-服务链路分析实际应用案例下一步改进方向微服务架构对质量的挑战智能化解决方案-服务链路分析实际应用案例下一步改进方向大纲微服务架构对质量的挑战智能化质量体系思考

3、智能化解决方案探索下一步工作一步改进方向智能化质量体系思考How?智能化质量体系思考 质量保障的目标-基于微服务架构的业务系统 收集关于业务系统的各种数据 赋能自动化和各类专项测试，全方位提升质量和效率 从大数据中提取业务系统运行的规律或者模式规律或者模式微服务架构对质量的挑战智能化解决方案-服务链路分析实际应用案例下一步改进方向微服务架构对质量的挑战智能化解决方案-服务链路分析实际应用案例下一步改进方向微服务架构对质量的挑战智能化解决方案-服务链路分析实际应用案例下一步改进方向大纲微服务架构对质量的挑战智能化质量体系思考智能化解决方案探索下一步工作一步改进方向智能化解决方案探索用例推荐质量策

4、略推荐协议变更检测运行日志配置数据链路日志服务流量消息队列离线数据机器学习数据挖掘智能化解决方案-用例推荐 写了很多自动化case，对生产环境的业务场景覆盖如何量化评估？自动化测试覆盖10000+接口且平均代码行覆盖率50%左右，需要多久？场景流量分析 4w+case的更新维护需要人工投入多少时间？0智能化解决方案-用例推荐 测试流量和线上真实流量推荐测试用例，提升业务场景覆盖率，从质量和效率维度同时提升复杂场景业务的质量保障能力日志消息队列流量录制计算平台底层依赖技术平台核心能力数据预处理自动化特征聚类算法关联挖掘接口参数聚类通用校验条件场景覆盖率智能化解决方案-用例推荐用例运行依赖数据的构

5、造大规模自动化特征工程大量机器学习任务的批量调度和执行case校验条件的有效性智能化解决方案-用例推荐算法效果评估智能化解决方案-用例推荐推荐用例总数4w+，占自动化case总数50%+覆盖500+核心服务，1w+接口，整体代码覆盖率50%+，场景覆盖率90%+除了接口自动化，还应用于性能测试，diff测试，效果评测，幂等测试等方向智能化解决方案-质量策略推荐微服务架构的结构复杂性 依赖关系的感知缺乏是漏测和线上问题的主要原因之一测试同学最经常面对的问题，开发提测了，需要考虑哪些测试点，如何测试系统化的梳理测试范围测试设计推荐测试覆盖评估智能化解决方案-质量策略推荐日志代码平台图数据库数据库管

6、理底层依赖技术平台核心能力数据预处理链路聚类相似度计算知识图谱代码/库表/配置变更依赖分析配置链路追踪发布平台计算平台序列挖掘库表分析风险评估代码分析变更感知辅助测试执行质量风险提示测试覆盖评估智能化解决方案-质量策略推荐海量服务链路数据的分析海量关联关系数据的存储和查询中间件和接口依赖关系的提取函数调用关系call graph智能化解决方案-质量策略推荐相比于人工，对于测试变更评估的效率提升90%以上变更接口平均测试覆盖率，从29%提升至51%19W9K接口变更任务变更3.