4-基于性质的测试技术-梁锡贤沈祥臣-0713.pdf

1、基于性质的测试下一代GUI功能自动化测试方法梁锡贤华东师范大学 硕士研究生华东师范大学-智能化软件与智能化软件工程实验室硕士研究生。华为开发者平台部科研实习生。Kea2作者，Kea核心开发者。研究领域为移动应用分析与测试，特别是功能错误的分析与测试。沈祥臣华东师范大学 硕士研究生华东师范大学-智能化软件与智能化软件工程实验室硕士研究生。微信技术架构部、微信支付科研实习生。Kea 核心开发者。研究领域为移动应用分析与测试，特别是功能错误的分析与测试。苏亭华东师范大学 教授华东师范大学软件工程学院教授，主要研究方向为软件工程、程序语言和软件安全，研究工作主要集中在对各类复杂软件与系统的质量保障方面

2、；相关研究成果获得了CCF科技成果奖技术发明一等奖、Google教授研究奖、CCF-蚂蚁科研基金“优秀应用项目”奖、五项CCF-A类国际会议的ACM SIGSOFT杰出论文奖等；其研究工作受到了中国/瑞士国家自然基金委、科技部重点研发计划、国内外高科技企业的资助；获得国家青年人才计划支持。01 背景介绍移动应用无处不在且用户量大移动应用功能正确性保障保障GUI移动应用正确运行是第三方应用开发者、系统应用开发者和操作系统生态建设的重要目标和诉求。(商业)移动应用代码复杂度高Code Statistics of WeChat*Automated Test Input Generation for

3、Android:Are We Really There Yet in an Industrial Case?(ESEC/FSE16)微信功能(隐私安全)缺陷：用户A和用户B是好友A给B拨打视频电话A侧的通话悬浮框会异常消失导致语音、视频信息存在泄露风险汇报给微信后被紧急修复用户A用户B用户用户 A A(user test111222)(user test111222)用户用户 B B(user(user test333444test333444)10Instagram功能(隐私安全)缺陷：有两个用户A和B用户B删除公开发布的视频后用户A仍然能够长时间查看到导致个人隐私泄密的风险汇报给 Meta

4、 后被紧急修复线上严重事故时有发生所有交易8折5分钟内损失约4亿优惠券漏洞被黑灰产利用隐私泄漏影响用户体验每月修复的功能性Bugs数量某知名商业移动应用的功能缺陷数据实际痛点问题每月修复的功能性每月修复的功能性BugsBugs数量数量某知名商业移动应用的功能缺陷数据发现并修复的功能错误现有自动化测试手段或工具找到的错误数量 实际痛点问题02 问题分析功能感知程度高输入空间遍历充分功能感知程度输入空间遍历充分度低高高理想方法现有测试分析技术的局限性功能感知程度高输入空间遍历充分功能感知程度输入空间遍历充分度低高高静态分析InferSootAndroid Lint静态分析理想方法现有测试分析技术的

5、局限性功能感知程度高输入空间遍历充分功能感知程度输入空间遍历充分度低高高静态分析页面遍历WukongDevco TestingFastbot页面遍历不能检测功能缺陷理想方法现有测试分析技术的局限性功能感知程度高输入空间遍历充分功能感知程度输入空间遍历充分度低高高静态分析页面遍历人工测试 脚本测试UIAutomator人工测试 脚本测试输入空间小人力成本高理想方法现有测试分析技术的局限性-功能感知程度高-输入空间遍历充分现有工具无法同时达到问题分析功能感知程度输入空间遍历充分度低高高静态分析页面遍历人工测试 脚本测试行业空白核心问题1.如何充分遍历输入空间即如何让工具自动化的探索更多操作路径2.

6、如何构建测试预言即如何正确定义应用的正确行为我们的技术 基于性质的GUI测试技术功能感知程度高输入空间遍历充分人力成本低功能感知程度输入空间遍历充分度低高高静态分析页面遍历基于性质的测试通过 1.定义和验证程序的性质，2.自动生成用例 来确保代码的正确性，而不是像传统的测试那样依赖于具体的输入和预期输出。性质：程序在输入满足某些条件时必须满足的不变式或规律。人工测试 脚本测试基于性质的测试03 解决方案Property-based Testing(PBT,基于性质的测试)Property-based Testing:A New Approach to Testing for Assurance