2018年基于AI的移动端自动化测试框架的设计与实践.pdf

《2018年基于AI的移动端自动化测试框架的设计与实践.pdf》由会员分享，可在线阅读，更多相关《2018年基于AI的移动端自动化测试框架的设计与实践.pdf（40页珍藏版）》请在三个皮匠报告上搜索。

1、基于 AI 的移动端自动化测试框架的设计与实践理想中的 UI 测试框架深度学习带来的机会Aion 的诞生Aion 的优势与挑战AI 未来How易于开发和维护稳定性执行效率跨平台跨应用支持 HybridUIAutomatorAppiumRobotiumEspressoUIAutomation支持语言Java/KotlinJava、Python、Ruby等JavaJava/KotlinJS控件捕获较高高较高较高较高跨平台否是否否否跨应用是是否否是支持 Hybrid不支持支持支持支持支持稳定性中中中中中传统框架的缺点跨平台能力差跨应用能力差稳定性对ID依赖较大控件捕获成本高dump 系统视图树几率性

2、的失败一种支持所见即所得自动化测试框架SikuliAirTestSikuli&AirTest 的不足准确率不足没有层次结构代码稳定性差代码可维护性差find(tab).find(text=会员).click()find(nav).find(img=搜索框).click()scrolldown_and_find(cover).find(延禧攻略).click()点击“tab”里面“vip”的按钮 点击“导航”上的“搜索”按钮 往下滚动，找到“奇葩说”的“封面”，点进去 能力的需求图像切割图像分类识别OCR 文字识别图像相似度匹配像素点操作深度学习带来的机会理想中的 UI 测试框架Aion 的诞生

3、Aion 的优势与挑战AI 未来Top5准确率从75%提升到98%OCR Accuracy93%98%total accuracychars accuracy深度学习带来的机会Aion 的诞生理想中的 UI 测试框架Aion 的优势与挑战AI 未来PixelToAppPixelToApp存在的问题复杂界面处理难度大阈值设置适应性差瓶颈突破比较难需要使用大量算法，维护性差Pix2Codetrainsample存在的问题准确度不够中间干预难训练素材标注成本高切割精准度不够Aion 是怎么做的core测试用例图像切割场景判断提取子元素布局分类填充子元素条件判断传统测试框架截屏执行/结束AI自定义算法

4、背景分块 切割直方图 相似切割分布 相似切割极大空间 切割Jaccrad 相似切割元素Jaccrad 相似切割前后景 分层？19.,300.,581.830.,945.5,1061.36.,74.5,113.162.,211.,260.336.,459.5,583.662.,710.,758.839.,893.,947.987.,1013.5,1040.(similarity,0.856)19.,300.,581.830.,945.5,1061.36.,74.5,113.839.,893.,947.0.8560.9940.948分类模型选择AI 优化素材分布不均1050005001000脚本生

5、成更多应用Top-layer 到 Fine-tune冻结训练10多结果并用原图灰度图轮廓图MobileNet v2ShuffleNet v2结果深度学习带来的机会Aion 的诞生理想中的 UI 测试框架Aion 的优势与挑战AI 未来UIAutomatorAppiumRobotiumEspressoUIAutomationAion支持语言Java/KotlinJava、Python、JavaJava/KotlinJSPython控件捕获较高高较高较高较高低跨平台否是否否否是跨应用是是否否是是支持 hybrid不支持支持支持支持支持支持稳定性中中中中中较高优势可见即可得，易于理解和开发对系统框架依赖弱，跨平台稳定性强，不用担心 ID 混淆的问题分类少，层次浅，视图捕获简单无缝支持传统框架挑战准确率样本数量执行时间极度复杂背景的元素提取特征极少的元素识别悬浮元素的提取深度学习带来的机会Aion 的诞生理想中的 UI 测试框架Aion 的优势与挑战AI 未来AI More错误界面识别子元素 AI 识别页面预加载UI2Code录屏分析