A3--唐晓璇--MobileFlow-大模型驱动的终端自动化测试新范式.pdf

《A3--唐晓璇--MobileFlow-大模型驱动的终端自动化测试新范式.pdf》由会员分享，可在线阅读，更多相关《A3--唐晓璇--MobileFlow-大模型驱动的终端自动化测试新范式.pdf（38页珍藏版）》请在三个皮匠报告上搜索。

1、唐晓璇蚂蚁集团唐晓璇蚂蚁集团 MobileFlow 算法负责人就职于蚂蚁集团，专注于研发效能优化方向，主要工作方向为AI驱动的研发效能体系创新。作为 MobileFlow 技术团队的算法负责人，聚焦多模态大模型与智能体技术的前沿探索，主要研究方向包括：1）多模态大模型在UI自动化测试中的精准指令理解与执行；2）LLM-based Agent的复杂任务分解与动态规划；3）跨平台，跨设备的GUI Agent 的端到端框架构建。为复杂场景下的研发效率与质量提升提供技术驱动力。目录CONTENTS传统UI自动化测试通用痛点0102MobileFlow平台介绍MobileFlow技术算法03未来展望04

2、PART 01传统UI自动化测试通用痛点传统UI自动化测试痛点随着移动端应用快速发展，功能复杂的“Super App”不断涌现，传统的自动化测试方案无法满足日益复杂的需求1.复杂业务场景用例编写门槛高3.执行不稳定用户传统UI测试痛点场景2.用例维护成本高传统UI自动化测试痛点Super App业务场景复杂：蚂蚁森林，小鸡领饲料等1.复杂业务场景用例编写成本高业务场景交互复杂，用例编写需要具有专业编程知识，熟悉测试框架，还需要兼容多种操作系统（IOS，Android，Harmony OS 等多技术栈）。传统UI自动化测试痛点版本更新迭代快，UI频繁更新维护2.用例维护成本高终端应用版本更新频繁

3、，业务变更升级频率很高，例如，支付宝从四周发布新版本，到双周发版，甚至单周发版，测试用例需要根据UI，业务，以及场景进行更新和维护。传统UI自动化测试痛点弹窗异常处理版本更新/网络不可用3.测试用例执行不稳定终端测试用例执行过程中，会遇到各种异常情况，如弹窗，网络不可用，软件版本更新等，阻碍正常的执行流程。遇到异常情况，还需要人工兜底。PART 02MobileFlow平台介绍MobileFlow平台介绍MobileFlow平台介绍 平台架构终端智控平台云真机资源多模态算法技术系统平台能力支持业务场景MobileFlow平台 多模态模型驱动自动化测试针对痛点1：复杂业务场景用例编写成本高Mob

4、ileFlow 端到端闭环线上自动化测试自动化任务的最小组成单元代码脚本Code-free 脚本，并且可手动编辑脚本生成计划任务报告脚本+执行方案+环境变量系统内置4套计划模版手工 vs 定时计划每次执行形成任务环境变量执行前可调整任务结束概况以及汇总报告线上问题复现日志抓取，Mock，收集性能问题MobileFlow平台介绍 云真机UI效果预览不同型号，不同设备预览便捷端云协同联调可以连接支付宝仿真环境联调云真机：功能：远程操控云端手机针对痛点2：用例维护成本高MobileFlow平台介绍-自研高密度智能集群电磁信号相互干扰Wi-Fi容量见顶人力维护成本上升单位机柜终端容量提升5倍集群持续扩

5、大中MobileFlow平台介绍-智能化机柜实时展示设备信息MobileFlow-大小模型协同视觉小模型 UI控件提取通过视觉方式，从页面提取全部UI控件位置，类型和描述 文本OCR提取通过视觉方式，从页面提取文字 页面异常检测识别页面是否存在异常，返回0/1多模态大模型 单步操作脚本生成无需手机截屏辅助，纯文本模态，自然语言描述生成单步操作 通用图文断言支持对任意手机截屏进行提问，生成是否回答 意图驱动脚本生成辅助手机屏幕截图信息，用自然语言描述生成下一步操作 页面相似度检测计算两个页面相似度，返回相似度数值针对痛点3：测试用例执行不稳定MobileFlow-某平台助理应用案例财富助理财富助

6、理智能助理智能助理安全性评测数据生产功能性评测MobileFlow-支持支付宝质量管控提效支付宝发版质量管控业务质量个性化业务逻辑开发MobileFlow：真机&脚本&任务等通用底层能力后端API页面产品功能业务背景：支付宝周频新版本发布，流程环节中有大量真机自动化测试&质量管控需求MobileFlow作为通用真机自动化测试平台，提供：标准测试结果报告、自动化脚本&执行等基础能力MobileFlow 平台介绍 支持支付宝质量管控提效严格控制三端设备（IOS，Android，鸿蒙），避免移植测试代码一次操作，同时控制三端设备完成相同动线操作，降低测试门槛PART 03MobileFlow平台技术