【Gtest主论坛】3、冉德智北京大学计算机学院图灵计划博士生《从规则脚本到智能代理：重塑软件测试的效率边界》.pdf

1、全球软件测试技术峰会9月北京从规则脚本到智能代理:重塑软件测试的效率边界2025.09.05讲演人 冉德智北京大学计算机学院21级图灵计划博士生首届电子学会-腾讯混元大模型专项PI（混元学者）首届国自然博士生项目主持人（大模型的新型操作系统）阿里巴巴2022年度科学研究实习生（UI自动化测试）北京大学计算机方向学术十杰，苹果AI学者提名五次获得国家奖学金，北京大学校长奖学金以第一作者/通讯作者身份发表CCF-A类论文13篇会议讲者简介讲者导师，团队带头人 谢涛谢涛，北京大学讲席教授，复旦大学双聘顶尖人才，复旦大学先进计算系统研究院院长，北京大学计算机学院软件科学与工程系主任，上海开放计算系统研

2、究院院长，上海开放处理器产业创新中心秘书长，北京开源芯片研究院首席科学家，国家高等学校学科创新引智基地负责人。曾任美国伊利诺伊大学香槟分校（UIUC）计算机系正教授。当选欧洲科学院外籍院士、国际计算机学会（ACM）会士、电气电子工程师学会（IEEE）会士、美国科学促进会（AAAS）会士、中国计算机学会（CCF）会士。会议讲者简介来源:Statistica44亿移动应用用户5移动应用:无所不在6UI测试:应用软件质量保障的关键一环理想与现实的落差7精确性灵活性可扩展性理想中的测试现实中的测试精确性灵活性可扩展性不可兼得人工测试：既精确，又灵活；难扩展（成本高）8精确性灵活性成本高昂牺牲扩展性脚本

3、自动化：挺精确，可扩展；很死板9精确性可扩展性牺牲灵活性易出错 难维护探索测试：很灵活,好扩展;不精准10灵活性可扩展性牺牲精确性缺少目的性Dezhi Ran,Weizhi Meng,Xionglin Wu,Hui Jin,Jing Cui,Xing Tang,Tao Xie(2022).Automated Visual Testing for Mobile Apps in an Industrial Setting.VTest/Monkeybot ICSE22-SEIP;部署在淘宝Dezhi Ran,Hao Wang,Wenyu Wang,Tao Xie(2023).Badge:Priori

4、tizing UI Events with Hierarchical Multi-Armed Bandits for Automated UI Testing.ICSE23；部署在微信主要用于稳定性测试为什么难:从测试需求（测什么）到在指定App上的测试实现（如何测）11高抽象层次测试目标在Quizlet APP中打开夜间模式被测APP(AUT)输入质量保障(QA)工程师 理解测试目标 手动创建测试步骤输出UI 测试用例手动UI测试智能代理:打破不可能三角12Action Observation 安装在手机上 理解测试目标 自动创建测试步骤基于智能代理的UI测试测试啥如何测在未知环境中的规划不

5、定性与缺少信息搜索空间复杂度高抽象层次测试目标在Quizlet APP中打开夜间模式被测APP(AUT)输入输出UI 测试用例理想中的大模型:智能代理的灵丹妙药13VisProg(CVPR23 Best Paper Award)SayCan(CoRL22 Special Innovation Award)Language-grounded robot controlVision-language planning背景：用大模型来解决规划问题基于大模型的智能代理:软件测试的灵丹妙药？14超级智能化的UI 测试ReAct(ICLR23 Oral)Reflexion(NIPS23)Droidbot-

6、GPT(Wen et al.,2023)从理想到现实:闭源模型不能满足测试自动化的效能诉求15成功率平均完成度不同Agent成功率不同大模型成功率Ran,Dezhi,et al.Beyond Pass or Fail:Multi-Dimensional Benchmarking of Foundation Models for Goal-based Mobile UI Navigation.arXiv preprint arXiv:2501.02863(2025).从理想到现实:闭源模型失败的案例研究16Prompts:Turn on Night Mode on Quizlet.打开搜索页打开