A2--黄文昊--基于LLM的智能巡检探索实践.pdf

《A2--黄文昊--基于LLM的智能巡检探索实践.pdf》由会员分享，可在线阅读，更多相关《A2--黄文昊--基于LLM的智能巡检探索实践.pdf（42页珍藏版）》请在三个皮匠报告上搜索。

1、黄文昊OPPO 高级软件测试工程师黄文昊OPPO 高级软件测试工程师现任OPPO快应用质量保障负责人，牵头规划与实施客户端自动化测试体系与性能专项建设，通过设计分层质量保障方案及效能工具链开发，有效提升产品交付质量与测试效能；作为DTA成员深度参与部门技术工线建设，主导大模型在测试领域多场景的落地应用研究。从业期间先后任职于招银、腾讯、Shopee等企业，在金融科技领域具备丰富的质量保障经验，擅长通过精准测试、精准监控及DevOps体系建设实现研发效能持续优化。目录CONTENTS背景介绍0102技术探索实践成果03未来畅想04背景介绍需求调研产品背景需求调研产品分析诉求：需建立有效的巡检策略

2、，以覆盖多样功能、适应快速迭代、确保生态兼容性、支持跨平台适配，并加强安全与合规性审核。跨平台兼容性生态兼容性测试复杂性生态多样性安全合规性与多第三方服务和API整合，存在兼容性风险服务于各行各业的开发者，但其编码习惯和规范各不相同支持多终端和操作系统，需进行品牌适配测试需要确保生态资源的安全性和合规性功能模块多样，场景复杂技术预研技术选型当下能力接口自动化逻辑层自动化UI自动化无法验证用户体验及界面表现忽视用户输入，难以覆盖复杂场景易受界面变化影响，维护成本高类型稳定性执行效率用例成本接口自动化稳定性高（直接调用，无前端依赖）直接调用API，无界面依赖，执行最快（毫秒级）编写成本：中低（需定

3、义请求/断言，技术门槛适中）维护成本：中（接口变更需同步更新，但结构稳定）逻辑层自动化稳定性中高（覆盖核心逻辑），依赖框架健壮性聚焦业务逻辑（如Service层），依赖中间件（DB/MQ），速度中等（秒级）编写成本：低（聚焦业务逻辑，依赖Mock/桩）维护成本：低（业务规则变化时需调整，代码耦合低）UI自动化稳定性低（受环境/元素变动影响大）模拟用户操作，受渲染/网络影响，执行最慢（分钟级）编写成本：高（需处理页面元素、交互、等待机制）维护成本：高（前端变动频繁，元素定位易失效）痛点：无法满足构建生态健康度量体系的诉求符合预期符合预期不符合预期不符合预期符合预期符合预期效率提升：单小程序全量检

4、查从小时级降至分钟级。覆盖率：通过动态路径发现，页面覆盖率达95%以上。成本优化：维护用例人力减少70%。自主遍历能力 页面路径发现能力 元素动态定位能力 跨版本/机型适配能力分布式执行能力 集群化测试 目标源剪枝用例健壮性设计 自愈机制及异常熔断 AI驱动探索 自更新规则库通用性生态健康度量体系低成本关键收益技术预研能力预期时效性技术探索基于智能遍历的用例健壮性增强方法研究页面数据集PDSVectorized embedding数据库数据层模型层生成层路径生成模型路径生成结果RAG检索增强生成原始页面信息多模态元素识别引擎Vectorized embedding数据库状态空间建模数据层模型层

5、生成层组装prompt多专家prompt数据清理路径生成遍历模型向量检索基于智能遍历的用例健壮性增强方法研究基于DOM/控件树定位基于yolov7目标检测定位维度DOM/控件树定位图像/OCR精准度高中低执行速度快慢维护成本低（结构稳定时）高适用场景标准Native应用游戏/非标准UI技术门槛低中确立控件识别为基准定位机制，视觉辅助定位作为容错补偿元素定位触发选型路径构建结果校验缺点：识别不全缺点：仅能基于坐标定位基于智能遍历的用例健壮性增强方法研究将屏幕的UI布局转储成一个XML文件遍历 XML 树,对clickable或focusable为true的控件根据bounds是否超过限定值，划分

6、可触发控件部分示例图基于目标检测算法，通过对目标界面进行特征提取与区域定位分析，输出候选控件集合聚合聚合元素定位触发选型路径构建结果校验基于智能遍历的用例健壮性增强方法研究类型执行速度执行效率执行要求使用成本Appium较慢。基于客户端-服务器架构（JSON Wire协议），存在网络通信开销。底层依赖UIAutomator（Android）或XCUITest（iOS），增加中间层延迟。相对较低。依赖中间服务（Appium Server）和设备驱动，元素定位可能因渲染延迟失败。跨平台特性导致Android/iOS兼容性问题。中等。需配置Appium Server及依赖库，支持多语言（Python