8-基于AI的测试平台建设和UI自动化提效实践-寻迹胡迪-0714.pdf

《8-基于AI的测试平台建设和UI自动化提效实践-寻迹胡迪-0714.pdf》由会员分享，可在线阅读，更多相关《8-基于AI的测试平台建设和UI自动化提效实践-寻迹胡迪-0714.pdf（46页珍藏版）》请在三个皮匠报告上搜索。

1、基于AI的UI自动化问题解决和提效实践寻迹&胡迪目录酷家乐 AI历程及测试 AI 建设思考AI测试平台设计及建设UI 自动化提升之微调 AI 模型改善结果分析UI 自动化提升方案之 AI 生成脚本未来与展望一、酷家乐 AI 历程及测试 AI 建设思考酷家乐AI历程及测试AI建设思考酷家乐AI历程及测试AI建设思考酷家乐AI历程及测试AI建设思考二、AI 测试平台设计及建设发现需要越来越多的AI测试能力？平台目标 支持各个LLM模型 支持RAG 支持微调模型平台调研 FastGPT Dify Langchain平台部署 服务本地部署 db本地部署 模型本地部署AI测试平台设计及建设平台背景及方案

2、调研AI测试平台设计及建设平台方案设计平台建设之模型建设与接入通用大语言模型 业界领先的大语言模型 特定专项的模型接入Embedding模型 业界领先的embedding模型 公司内部调优模型私有训练小模型 图像识别/数据分析模型 内部优化的embedding模型AI测试平台设计及建设AI测试平台设计及建设平台建设之能力建设易用性提升功能优化外部对接能力拓展进行了多项易用性提升10+例：优化知识库能力，优化后累计新增知识库已达12w+进行了5+的能力拓展优化。例：优化应用和工作流使用方式，累计建立的30+内部5+测试工具、测试平台接入平台能力。例：工单系统对接AI测试平台，日活50+平台接入M

3、CP、本地模型等，逐步建立测试超级AgentAI测试平台设计及建设基于AI平台我们在多个业务场景进行落地探索平台使用情况比如辅助测试数据分析-辅助数据比对/图像比对：目前指定业务使用AI JSON Diff实现数据比对分析定位 通过特定AI模型进行图片diff并辅助分析定位AI测试平台设计及建设比如AI辅助文档/复盘评审推送-以测试复盘评审为例：利用AI对优秀文章推荐推送，累计100+AI+知识库辅助评审评分故障复盘，已推广使用 累计评审及推送文档150+，符合度/满意度70%+平台上的典型测试应用举例1：比如AI辅助工单答疑：工作日活跃超50，高峰时段超150，有效处理大量FAQ AI介入后

4、，平均工单处理时长缩短近10天 部分工单排查提效近90%比如辅助分析阶段-辅助多语言异常检测：目前已经常态化利用AI平台进行国际化多语言及页面检测 问题拦截率基本达到100%AI测试平台设计及建设比如辅助报告编写阶段-以测试发布报告为例：重点敏捷组的测试发布报告已经100%通过AI平台生成 AI生成报告效率较人肉效率提升巨大（20min-1min）平台上的典型测试应用举例2：比如测试编码阶段-代码评审CodeReview为例：50%+的UI自动化gitlab仓库接入了AI CR AI CR融入部门UI自动化公审流程100%CR次数提升100%，AI CR有效率约80%（问题维度）UI自动化测试

5、编写面临的挑战 元素标准化 元素定位AI识别元素定位 提升人员编码熟练度 AI辅助编码代码编写 结果校验算法优化 AI结果分析结果校验AI平台及模型能力UI自动化编码的关键环节及我们的提升标点下面将分别从这三个方向概介绍我们的提升方案三、UI自动化提升之微调AI模型改善结果分析UI自动化提升之AI辅助结果分析图像比对面临着如下困境：当前UI自动化图像对比算法是：structural_similarity（结构相似性指标）SSIM对结构变化较为敏感，当图纸中的标注或文本发生正常的轻微偏移时，图片对比会失败。这些失败case降低通过率，增加了很多人力排查耗时，无法给出语义化的分析结果。酷家乐UI自

6、动化测试大量使用数据比对和图像比对。UI自动化提升之AI辅助结果分析多个大模型调研测试效果情况从测试结果来看，都没法满足我们的专业性要求UI自动化提升之AI辅助结果分析模型微调技术方案及工具选型UI自动化提升之AI辅助结果分析微调流程及逐步优化UI自动化提升之AI辅助结果分析从测试结果来看，基本满足我们的测试述求微调流程及逐步优化UI自动化提升之AI辅助结果分析测试模型微调经验UI自动化提升之AI辅助结果分析对于期望对比通过，而SSIM算法识别为不通过的case，引入AI能力减少误报率(提高case成功率)提高对比准确率利用AI将图片对比的内容/细节进行