基于AI的网易UI自动化测试方案与实践.pdf

《基于AI的网易UI自动化测试方案与实践.pdf》由会员分享，可在线阅读，更多相关《基于AI的网易UI自动化测试方案与实践.pdf（40页珍藏版）》请在三个皮匠报告上搜索。

1、基于AI的网易UI自动化测试方案与实践网易测试专家2018-6-211.开源UI自动化测试方案Airtest Project3.AI在Airtest中的应用4.AI与Airtest Project的未来展望2.网易大规模自动化实践1.开源UI自动化测试方案Airtest Project网易150+款移动AppAndroid碎片化海量设备OtherSamsungHuaweiHongmivivoOPPOXiaomiLenovoCoolpadMeizu金立Airtest Project网易研发的跨平台UI自动化测试方案，和Google合作发布并开源GDC 2018Airtest IDEAirtest

2、PocoAirtest IDE自动化脚本编辑器?10?11做点有趣的事情?13测试框架Airtest基于图像识别测试框架Poco基于UI层次结构全平台支持AirtestPoco依赖设备操作系统原生应用 游戏引擎平台支持iOS/Android/Windows(macOS/watchOS)iOS/Android/Web 应用 Cocos/Unity/各种游戏引擎2.网易大规模自动化实践自动化云平台演示自动化云平台架构大规模自动化实践1100+脚本数量200+设备数量4000+设备运行时长/周3.AI在Airtest中的应用游戏UI识别基于OpenCV模板匹配算法：遍历图像，逐像素计算匹配度大小一致

3、时，定位准确跨分辨率时，定位异常游戏UI识别基于OpenCVSIFT算法：特征点匹配Step1.提取目标和截图特征点Step2.特征点关联游戏3D物体识别如何识别旋转的3D物体？AI领域的物体识别Supercharge your Computer Vision models with the TensorFlow Object Detection API Google AI Blog,2017.06 AI图像识别工作流程AI图像识别利用Poco进行自动标注用Poco过滤目标物体自动标注目标名称和坐标生成json标注文件和截图AI图像识别Step by Step基于Tensorflow Obje

4、ct Detection API1.生成TFRecordAI图像识别Step by Step2.选择预训练模型，开始训练3.使用eval和Tensorboard评估训练结果，并导出模型使用lable_mapAI图像识别训练结果AI图像识别在自动化测试中的应用democonnect_device(Android:/)start_app(ease.dyll)touch(Content_Level(1)touch(LevelHeroPanel_Go)for i in range(1000):touch(food_fish1)4.AI与Airtest Project的未来展望 搞定了App图像识别 自

5、动化程序还是需要人工写Reinforcement Learning强化学习：如何基于环境而行动，以取得最大化的预期利益传统策略AIW1 探测游戏场景W2 输出动作概率PupPstillPdownPolicy NetworkDemo From Google Cloud PlatformReinforcement LearningPolicy gradients训练过程策略梯度：让动作执行一会儿，看看什么动作将会产生高回报，那么就提高这部分动作在当前情况下出现的概率。LOSE-1WIN!+1RewardReinforcement Learning训练结果前几次5000次训练之后AI与Airtest Project的未来展望基于AI实现零代码的App自动化确定操作空间确定环境信息创建模拟环境设计和训练模型Airtest Project服务与支持维持开源生态 10000+1300+trending开放云测试平台AirLabTop 100Free!SaaS+B2B解决方案SaaS云端虚拟设备推荐性能数据云端执行任务公有手机集群历史数据分析定制化报告定制化设备集群专业技术支持B2B:私有化定制方案私有化云测试平台