3-大前端智能化测试实践-郭诗雨-0701.pdf

1、大前端智能化测试：技术演进与实践探索讲 师：郭诗雨目录一、大前端测试流程二、大前端测试的挑战与痛点三、技术演进与实践探索四、未来趋势与挑战一、大前端测试流程测试过程可以概括为：1.测试设计与准备（测什么）（用例生成、选择与筛选、精准测试）2.测试执行与验证（怎么测）（环境搭建、驱动执行、结果校验）3.测试评估与优化（测的怎么样）（覆盖率分析、效率评估、状态跟踪）针对测试执行与验证：手工测试通常用来做新需求测试，但人力成本较高，在回归测试等场景难以大规模开展。为弥补手工测试的不足，业界引入了传统UI自动化测试，旨在降低成本、扩大覆盖范围并提升效率，较多应用于回归测试等场景。UI自动化测试的额外工

2、作手工测试：测试人员根据需求，设计、维护测试用例集；依照用例集对测试用例逐条操作、观察、判断，并记录结果；UI自动化测试：测试人员根据需求，设计、维护测试用例集；利用自动化框架（如Appium、UIAutomator、Playwright等）将驱动和验证逻辑编写与维护测试用例代码；执行完自动化后人工确认自动化结果。一、大前端测试流程二、大前端测试的挑战与痛点测试效率瓶颈-UI自动化用例开发维护成本高-可迁移性差（跨平台复用率低）-鲁棒性不足（稳定性与准确率低）前端技术复杂性-框架多样性-设备碎片化-多端多技术栈适配投入冗余传统UI自动化测试存在的诸多问题：目标：利用智能化能力，探索低成本、高效

3、的UI自动化解决方案，提升大前端测试整体的效率。二、大前端测试的挑战与痛点三、技术演进与实践探索自2022年11月起，我们迅速调整建设策略，结合LLM、Agent等技术，围绕实际业务需求，完成了大前端智能化测试领域多个能力原型建设，主要围绕自动化测试的执行建设了包括智能遍历测试、UI内容一致性检测、AUITestAgent智能化自然语言UI驱动校验、智能UI异常检测等，并在门票、沉浸式视频、服务零售等多个业务方向成功落地，大幅提升了测试效率并检出100+个有效缺陷。3.1 测试环境准备三、技术演进与实践探索3.2 智能化遍历测试三、技术演进与实践探索针对端上应用执行交互的稳定性与功能性检查。与

4、传统的遍历工具（如Monkey）相比，智能化遍历测试不仅检测Crash、JSError等硬性异常，还基于用视觉模型和大模型的能力，能够识别检测黑白屏、加载失败、以及交互结果不符合功能预期等问题。适合与传统测试配合，通过大量运行发掘现有人工自动化测试用例以外的异常场景，同时也比较适合对质量问题较多的新业务、新平台、新系统进行自动化低成本问题挖掘（如鸿蒙等）3.2 智能化遍历测试三、技术演进与实践探索创新点：1.利用LLM预测被交互节点功能，并判断交互后页面是否符合功能预期2.利用SoM标注节点，提高小杯模型(如4o-mini/claude-haiku)性能，兼顾成本与准确率3.2 智能化遍历测试

5、三、技术演进与实践探索步骤一：预测节点功能3.2 智能化遍历测试三、技术演进与实践探索步骤二：判断交互后页面响应是否符合预期3.2 智能化遍历测试三、技术演进与实践探索指标bug召回能力评估：针对明显异常情况（如RN报错、APP崩溃、黑白屏、返回APP首页、停留扫码配置页等）可做到99%+召回。针对通识类bug异常（LLM判断），召回率在80%以上，整体校验准确率为91%。3.2 智能化遍历测试三、技术演进与实践探索业务实际落地效果智能化遍历测试总体运行时长1w+小时，共执行了50w+个自动化测试用例，接入22个业务方向，其中17个方向深度使用。至今已发现了100+个有效缺陷。技术与学术影响力

6、发表国际软件工程领域顶会 ICSE 2025（CCF A）论文一篇：KuiTest:Leveraging Knowledge in the Wild as GUI Testing Oracle for Mobile Apps3.3 智能化一致性校验三、技术演进与实践探索同一类业务元素信息分散在不同团队负责的页面内，存在页面中的UI信息相互矛盾（如右图中同一个商品在多个页面上的实际价格不一致）此类UI内容不一致的异常，长期以来主要依赖测试人员对于UI的熟悉度，靠手工测试执行时来随机进行发现。3.3 智能化一致性校验三、技术演进与实践探索为解决该问题，我们针对UI层面设计并实现了一套自动化智能检测