1、基于模型和基于模型和AIAI的高效自动化测试方法实践的高效自动化测试方法实践演讲人:师江帆博士(龙测科技创始人)演讲人:师江帆博士(龙测科技创始人)2023 深圳站师江帆博士龙测科技创始人龙测科技创始人&CEO&CEOl 美国內布拉斯加大学林肯分校计算机科学与工程系软件测试专业博士;l 师从美国IEEE/ACM Fellow的Matthew Dwyer教授l 20多年测试经验,曾任职于美国IBM、微软、Expedia和国内长城集团;l 全美Top5软件测试实验室博士,TSE/ISSTA等顶级会议与杂志论文收录;l 浙江大学计算机创新技术研究院研究员、软件自动化授课讲师。l 2018-2020年
2、,姑苏领军及苏州工业园区科技领军人才l 2020年,杭州 5213 领军人才2023 深圳站目录CONTENTS基于UI流程的功能测试痛点01 基于纯/混合模型场景下的探索 基于视频流AI分析构建流程图02 基于双强化学习的流程构建及复杂控件的自动化操作04 ChatGPT对测试行业冲击和突破05 03 2023 深圳站01基于基于UIUI流程的功能测试流程的功能测试痛点痛点数百万APP软件繁多软件繁多Windows应用超过3500万来源:智研咨询及微软Windows部门联席副总裁 Michael Fortin敏捷开发软件发布快软件发布快抖音咪咕圈圈中国银行NetFlex架构软件复杂,难度大软
3、件复杂,难度大Amazon架构Twitter架构大量测试人员测试成本高测试成本高大量测试设备重复性回归测试100亿行为亿行为 1秒测试秒测试/行为行为=100亿秒亿秒115740天天317年年手工测试速度手工测试速度版本发布速度版本发布速度 测试效率低测试效率低一个普遍的现象一个普遍的现象一个简单的假设一个简单的假设Robot Framework痛点:操作复杂,上手难度大目前录制重播的目前录制重播的解决方式和痛点解决方式和痛点Selenium IDE痛点:只针对Web场景,维护难QTP痛点:对复杂软件适应性差,可读性差解决思路解决思路AIModel通过通过AI+Robot+Model技术,技术
4、,可完成可完成市面上绝大部分软市面上绝大部分软(硬硬)件系统件系统UI自动化测试自动化测试Robot+龙测AI龙测Farm龙测Pipeline龙测Repair龙测Monitor龙测Mocking持续测试流程自动生成用例用例运行BUG自动修复被测软件隔离产品持续监控解决方案解决方案录制引擎/Debug引擎农场任务(手机/Web/PC)测试流程图测试报告待测应用一站式自动化一站式自动化测试测试SaaS平台平台2023 深圳站02基于纯基于纯/混合模型场景下的混合模型场景下的探索探索录制引擎流程图和积木图模型流程图和积木图模型流程图形成积木图积木图爆炸用例可视化测试报告我们在产品实践过程中以流程图和
5、积木图为核心模型,将录制引擎、积木图、测试报告、线上设备集群等在内的多项特色或者独家功能串联起来,构建了自动化创建测试用例的完整业务闭环1.录制/导入生成测试流程图案例演示案例演示-某知名社交软件某知名社交软件2.多个流程图搭建生成积木图3.积木图爆炸测试用例案例演示案例演示-某知名社交软件某知名社交软件4.选择流程图/积木图执行任务5.自动生成测试报告531个自动化用例用例通过率97.27%任务完成率98.72%主要失败原因:网络时延导致;脚本问题导致;登录失败导致;初始化脚本失败导致。录制过程中发现5个线上个线上BUG案例演示成果案例演示成果混合模型的测试场景混合模型的测试场景测试场景环境
6、测试场景环境WebApp小程序小程序测试核心测试核心case商品上架商品上架用户下单用户下单测试难点测试难点跨应用跨应用模型模型组合组合跨设备跨设备1.搭建混合模型积木图混合模型解决方案混合模型解决方案-1-12.形成混合模型流程组织3.多模型测试任务下发4.多模型任务测试报告混合模型解决方案混合模型解决方案-2-2混合模型混合模型DemoDemo2023 深圳站03 基于视频流基于视频流AIAI分析构建分析构建流程图流程图AI视频转流程图视频转流程图-1录制的软件操作视频界面操作步骤AI分析生成AI视频转流程图视频转流程图-2录制的软件操作视频界面操作