A1--李贺松--API全场景用例智能生成和评估能力构建实践.pdf

1、API全场景用例自主生成能力实践李贺松华为云、PaaS服务产品部TSEG Leader李贺松华为云 测试技术专家12年+测试及测试工程能力开发经验，目前作为PaaS服务产品部TSEG Leader,主要负责产品部的测试工程能力建设，目前主要聚焦模型辅助测试设计、测试用例生成、精准测试等方向的能力探索和实践。目录C O N T E N T S1、API全场景零代码自主测试生成工具ATGen介绍2.在实践API用例智能化生成过程遇到的挑战2.数据质量提升：提升接口规范性的实践3.场景用例生成：基于导流数据快速生成跨服务场景级用例4.智能用例推荐：高价值用例自动筛选和批量基线化议题背景01API接口

2、测试背景和痛点接口多，华为云商用云服务接口数10W+，测试设计工作量大接口测试痛点参数多，平均10+参数/接口，组合爆炸易遗漏，接口功能交互和性能模型设计，依赖人经验，业务场景覆盖不足误报高，现有接口fuzz工具不理解业务，不感知上下文，生成有效性低华为XXX产品接口用例和接口场景级用例设计工作量样例ATGen上下文感知的API全场景零代码自主测试生成ATGen:基于接口定义和/或导流数据挖掘业务语义依赖，生成接口操作依赖ODG图&OTPG图&参数约束字典，创新动态修正技术，全自动生成场景测试。正常/异常测试序列/oracle生成覆盖收集报告增量更新测试代码&文本生成失败分类、聚类确认一键提单

3、业务上下文操作依赖挖掘生成策略结果判定用例基线化下发执行正常/异常测试序列编排/参数实例化/checkpoint设置覆盖收集报告生成测试文本&脚本生成失败分类、聚类确认一键提单业务上下文设计文档解读路径/数据组合覆盖策略结果判定测试用例基线化下发执行开发测试自动化keyword关键技术业务价值基于API接口定义挖掘上下文依赖ODG&基于导流的OTPG&参数字典静态挖掘 基于Yaml和/或导流数据自动挖掘上下文依赖，生成功能测试和性能压力模型，节省人工测试设计编排、定义接口序列、参数约束人力执行时动态更新修正ODG提升测试生成有效性，降低无效用例生成和误报率探索生成尽可能长的测试序列，有效增加代

4、码覆盖基于业务依赖&黑灰盒反馈导引的生成&变异提升测试覆盖生成结果分层聚类提升批量结果确认和提单效率愿景：探索Rest API场景级功能测试零代码自主智能生成,实现API功能交互测试无代码化、低成本、高覆盖。ATGen在测试流程中所处的位置ATGen工具流程整体方案API接口操作上下文依赖ODG图静态挖掘复杂业务依赖场景下ODG图遍历算法增强，提升图遍历执行效率边依赖区分优先级：必填参数依赖和CRUD为高优先级边，优先遍历高置信度依赖边，适配对接流水线短时间任务场景正向局部遍历：优先识别根producer和高权重producer作为起点，前序步骤执行成功后再执行后续步骤，减少无效请求数逆向局部

5、遍历：识别多边依赖的consumer，依据多边数据组合向相邻Producer遍历正向+逆向遍历combine:前序拼接+后序拼接，逆向producer复用正向sequence执行的成功执行的字典多边依赖场景带环场景基于ODG图的人工编排&字典配置，提升图遍历覆盖效率接口操作参数修订依赖关系修订全局参数字典设置概率转移图OTPG&参数字典/约束/先知挖掘的原理概率转移图OTPG&参数字典/约束/先知的使用OTPG与ODG融合1.补齐&修正ODG图的接口间的业务参数依赖关系2.利用OTPG图接口的参数schema信息提升测试生成质量3.完善YAML定义中缺失的参数定义参数字典/约束/先知提升测试生

6、成的准确性基于导流判断参数取值是enum基于导流挖掘出两个参数的约束多个参数间的先知判断API接口操作时序上下文依赖OTPG图挖掘OTPG图是对业务场景挖掘的有效补充，我们对脱敏后的导流数据，以用户/时间/环境等维度，按API接口操作时序及接口间出入参的取值匹配，计算转移概率，生成OTPG图。实践ATGen能力过程中遇到的工程实践挑战1、服务的接口规范性问题较多，导致API用例智能生成的接口覆盖率无法进一步提升；2、如何基于导流数据快速生成跨服务场景级用例（场景覆盖率提升）3、如何从自主生成的海量用例中快速提取高价值的场景用例并快速基线化成门禁用例；API规范性检测和辅助修复02接口规范性提升