《刘鑫-AI辅助测试开发领域端到端流程提效实践.pdf》由会员分享,可在线阅读,更多相关《刘鑫-AI辅助测试开发领域端到端流程提效实践.pdf(45页珍藏版)》请在三个皮匠报告上搜索。
1、AI辅助测试开发端到端研发提效刘鑫 中兴通讯股份有限公司目 录CONTENTS1.背景2.问题/痛点3.解决思路/整体方案4.具体实现/技术实践5.总结与展望演讲嘉宾刘鑫中兴通讯有线研究院测试域AI应用负责人硕士毕业于南京大学,2012年入职中兴通讯;资深软件测试专家,中兴通讯有线研究院安全技术教练,拥有CISP-PTE、CISP-IRE等注册信息安全认证背景PART 01业务场景背景介绍从传统单智能网关到FTTR(Fiber To The Room)组网的转变,显著提升了网络覆盖范围、带宽性能、设备扩展性和智能家居支持。这种转变通过一台主网关加多台从网关的方式实现。然而,这种组网和业务需求的
2、变化对系统测试带来了更复杂和更高的挑战。尤其是在面对运营商客户的强定制和短交付周期时,系统测试效率面临着巨大的压力。这是每个测试领域在提升研发效率方面必须应对的关键挑战IP络机APPWiFiPOTSLAN管服务器业务服务器IP络管服务器业务服务器机APPWiFiPOTSLANWiFi单智能关家庭业务场景FTTR家庭组业务场景(1:3组)从关从关从关主关关问题/痛点PART 02业务痛点和挑战010302痛点测试例存在重复冗余,例腐化,后端动化脚本开发和执分析存在重复浪费;迭代内需求数多,迭代内需求例交付速率不能及时匹配集测节奏,存在集测时等待例的问题;脚本开发速度赶不上例增加速度,动化脚本交付
3、效率低,动化覆盖率提升达到瓶颈,甚出现覆盖率下降的现象挑战随着FTTR等组业务场景的应,例复杂性和脚本复杂性都成倍增加,给脚本交付效率带来更的挑战解决思路/整体方案PART 03大模型应用方案对比分析案优点缺点适场景提示程1、经济可,效快 成本最低,灵活性,户可优化2、适于上下优化和为优化1、受限于模型的数据窗2、复杂的提示词消耗量token,影响响应速度和成本1、适于快速试验和验证、初步优化模型应效果2、户可助创建和分享提示词模板RAG1、为模型补充外部知识,解决模型知识局限性2、有效的改进Token限制1、不擅改变模型为;2、需要额外的内容检索和数据源;3、实现复杂度较1、模型需要动态获取
4、外部知识2、知识更新频繁的场景3、上下信息量,提示程难以处理精调1、改变模型为,提升输出稳定性2、适合特定任务的优化3后续调速度快,节省token1、成本较,需次性投2、数据准备和处理复杂3、不适合频繁变化的知识补充1、固定任务的频使场景2、需要稳定输出格式的场景3、为优化需求强烈的场景from:https:/ 提升研发效率:通过在研发流程中嵌AI具,动化和智能化处理量重复性和复杂性任务,减少为错误,提效率。优化决策过程:利AI的分析能,提供数据驱动的决策持,帮助研发团队更快、更准确地做出决策。提升创新能:AI具可以快速迭代测试新的想法和案,促进创新和改进。AI应(触点具)知识积累与共享:系统
5、化地积累和共享研发过程中的知识和经验,形成知识库,持团队成员快速获取和利知识。提升创新能:通过系统化的知识管理,促进知识的传播和应,激发创新思维和创新能。持续改进:利知识库中的数据和经验,不断优化和改进研发流程和法,提升整体研发能。知识程AI应用(触点工具)触点具思路:围绕站式FM体化AI测试平台建设,将AI能嵌到测试开发员的研发流程中聚焦测试域价值AI应(测试设计、脚本开发、执分析)持续演进,探索Autowork;并基于测试执业务流拓展AI应场景(测试策略制定、执、遗漏故障分析);知识工程基 于 知 识 规 范 通 过 模 型 从 各 种 来 源(icenter、Ztest、Gerrit等产
6、系统)中抽取知识知识获取基于知识建模(档树、QA、知识图谱)将获取的知识系统化存储、组织和管理,前向量化知识库存储在DN Studio平台,档类数据存储在项端知识库建设基于AI应的案通过RAG的式将知识库中的知识应于实际问题的解决过程知识应基于AI应的案并结合知识库的建设和应对知识的质量进评价,确保知识库中的知识能够满实际应需求知识评估基于各个业务活动的要求对知识进系统化、标准化的定义和描述,通过制定明确的规范,可以确保知识的致性、可理解性和可操作性知识规范知识规范知识获取知识库建设知识评估知识应模型知识程建设思路:基于知识程建设标准流程,以模型为核的数据知识程体系建设,结合AI应改进不断建设
7、并沉淀知识库知识工程知识程建设思路:基于知识程建设标准流程,以模型为核的数据知识程体系建设,结合AI应改进不断建设并沉淀知识库关键字知识库知识工程险评估知识库测试策略知识库测试例知识库环境模型知识库要素因知识库产品能知识库失败特征知识库问题分析知识库环境运维知识库测试策略测试执行知识库1.0:多源跨域数据数据挖掘数据融合知识库2.0:跨域知识体系语料选择知识规范建设流程沉淀知识获取知识建模知识库建设知识评估知识应测试设计脚本开发测试评估执行分析测试FAQ知识库Q:查看DB中WAN侧DHCPV6信息A:命令:sendcmd 1 DB p DHCP6C语法介绍:芯案:XX型号basic:model
8、:H01Quplink_type:ETHcpu:xxxports:-port:name:wantype:ethernet测试开发AI应用端到端方案端到端AI作流(workflow):以需求为源头,基于需求实例化活动的产出为输,通过GWT(Given-When-Then)成测试点进复例检索,降低冗余例的产;同时结合要素因和测试环境推荐成本例;通过本例的意图识别对本例进DSL设计,召回RF(Robotframework)关键字成动化脚本0102030405需求GWT测试点测试例测试脚本具体实现/技术实践PART 04本例成复例检索实践价值:将用例复用嵌入到TSE的研发流程中,避免冗余用例的无序增加
9、,控制测试活动的源头用例的产生,从而避免测试后端活动的投入浪费实践价值:拉通需求域探索Autowork提升需求实例化活动输出的质量,将AI生成用例嵌入到TSE的业务流程中,通过不断提升需求实例化的输出物质量,从而提升AI生成用例的质量,进而提升文本用例的交付吞吐量实践一:AI辅助测试设计活动提效实现案:基于知识程建设标准,通过建测试例知识库(测试点本例QA对),分别通过关键字检索和语义检索对相似测试点进召回,从获取复例,TSE检查测试步骤后键关联PR例复分析优点:1.复已有测试例可以减少编写新例的时间和资源投2.复的测试例已经过验证,确保测试的致性和可靠性3.复的测试例易于维护和更新,尤其当产
10、品功能相似或存在通特性不:1.初期设计复性测试例时,需要投较多时间和精进规划和实现2.需要清晰的例结构以确保测试例能够在不同的环境中复3.些特定场景需要定制化测试例,复测试例可能不完全覆盖*策略:对于常和基础功能,优先设计复性的测试例,以节省时间和资源;对于特定场景和新功能,编写定制化的测试例,确保测试的全性和准确性。实践技术点一:复用用例推荐实践技术点一:复用用例推荐知识程建设知识规范原则1:测试点尽可能原化且能够映射1个验证点原则2:测试点的描述以“在XXX场景&条件下验证XXX的功能”原则3:本例名称标识所属的测试点,格式:XXX功能_XXX测试点知识程建设知识获取你是家庭智能关产品(包
11、括家路由器、光猫等)的软件测试设计资深专家,请从如下测试例本中提取1个与业务最关键的测试点,按照以下json格式及其释义输出结果,示例如下:json test_point:测试点,从测试例本中分析个标测试点,以str返回#测试例本如下:#例名称%name%#测试步骤%step%#预期结果%result%举措2:使模型根据存量例进测试点抽取(动化)语料来源-Ztest共享例库语料预处理-步骤分割知识抽取-Prompt知识建设-QA对模板数据举措1:本例名称治理专题根据例设计规范和测试点设计规范,对存量的例名称进专项治理(),使得例名称的语义显著与测试点接近,语义相似度提升15%以上实践技术点一:
12、复用用例推荐知识程建设知识库建设基于例名称的语料和模型抽取的语料建设向量知识库,共建设18w+测试点本例QA对实践技术点一:复用用例推荐知识程建设知识评估实现案:当知识库&RAG案更新触发评估,从AI辅助测试设计活动中提取产知识(测试点新增例,测试点复例(包含ReuseableCase,ReuseableCase_Manual)通过RAG进评估,针对召回的本例ID和产数据库中进对,计算召回率标:提升NewCase和ReuseableCase_Manual 维持ReuseableCase*召回率=检索回来准确的例数/评测数实践技术点一:复用用例推荐知识程建设知识应实现案:通过DN Studio级
13、应编排实现根据测试点检索复例,分别根据关键字检索和先通过模型对测试点进Transformation后语义检索,知识合并后返回关键字检索语义检索实践技术点一:复用用例推荐实现案介绍:实践技术点二:文本用例生成#*测试例规范*备注:因篇幅有限,此处省略,主要来源于测试设计规范的要求#*任务*你是名通讯业的资深测试设计专家,根据*测试点*结合*测试例规范*设计*测试例*,可参考*相似例的示例*,并结合*场景*补充*测试例*要求*测试例*体现*测试点*#*要求*1.充分理解*测试点*,严格遵守*测试例规范*,输出*1个测试例*2.*测试例*遵守*本例模版*,包含例名称、预置条件、测试步骤和预期结果,输
14、出格式如*输出示例*3.例名称需要按照格式:功能点_测试点描述4.预期结果需要表明对应的测试步骤,如:步骤1,步骤2 5.请使中命名测试例,能概括性表达测试内容#*输出示例*json Label:例1名称,Preconditions:预置条件,TestSteps:step:测试步骤1,result:预期结果,step:测试步骤2,result:预期结果,step:测试步骤3,result:预期结果#*需求描述*%pr%#*场景*%scene%#*测试点*%mfq%#*参考相似例的示例*%shot%数据源:iCenter数据源:产数据基于RAG检索增强技术提供相似测试点的本例作为示例,通过PE成
15、本例Icenter需求(基础信息)+产数据(RAG)组合Prompt提示词成本例RAG案介绍通过RAG检索相似例作为本例成的few-shot来提升本例的成质量,基于测试点优先从本PR中检索最相似的测试点,从获取本例,当本PR中关联的例,则从测试例知识库中检索最相似的测试点并获取本例作为Prompt中的few-shot实践技术点二:文本用例生成在产数据库中保存了PR-测试点-本例的关联关系便获取相关数据:获取本例度量驱动改进:结合2个实践技术点定义了2个关键指标实践一:AI辅助测试设计活动提效指标指标定义计算法改进向复例召回率成功召回的复例数/复例总数1、测试例知识库语料质量优化2、检索案的持续
16、优化本例成率AI成的本例数/本例总数将例基于步骤拆分为list:“步骤:XXX;预期结果:XXX”,步骤:XXX;预期结果:XXX”,.将AI成的例和评审通过的例的每个步骤进相似度匹配,相似度满阈值则认为是AI成,即计算召回率,当召回率于80%则认为该例是AI成1、Prompt优化(包含输语料质量)2、RAG案的持续优化通过在产数据库中记录复例关联的活动数据,定义如下字段进保存,并根据该数据计算复例召回率testcase_flag:ReuseableCase_Manual:推荐失败检索关联ReuseableCase:推荐成功并关联实践二:AI辅助脚本开发活动提效案介绍:基于Robotframe
17、work框架,从Ztest系统中的然语的本例直接成RF脚本:1、通过模型进本例的意图识别 2、根据DSL关键字库对本例进DSL设计 3、步骤切通过相似度检索推荐RF关键字 4、步骤合并后通过模型整体优化*通过步骤并发成后整体优化提脚本成的效率举措解决的问题示例意图识别为本例的DSL设计圈定DSL关键字的范围修改语配置:通过配置上层设备或配置测试设备,修改设备或环境的语配置,例如呼叫保持、呼叫转移、注册等。DSL例设计代码更加简洁和易读,使得领域专家和开发员都能更容易地理解和修改代码WEB登录,过滤抓包报,登记呼叫保持业务步骤切个动作的描述般包含操作指令,操作对象,操作属性等以及些补充描述,通过
18、切更好检索到合适的关键字步骤:管检测BIND消息上报,包含注册的Password参数。-”管检测BIND消息上报”和“包含注册的Password参数”整体优化处理参数值的依赖问题以及脚本可读性提升解决下个关键字的参数依赖上个关键字返回值的场景脚本成关键字召回实践价值:RobotFramework框架是基于关键字驱动的自动化框架,项目中自定义了大量业务相关的关键字。准确获取用例依赖的关键字,并将其作为私域知识输入大模型是提高脚本生成效率的关键。实践价值:在脚本开发中,通过提高意图识别、步骤拆解和关键字查找等活动的效率,同时避免了关键字的冗余设计和开发,优化了流程。打通Ztest直接通过文本用例生
19、成RF脚本,为实现端到端的Autowork提供了坚实的技术基础。实践二:AI辅助脚本开发活动提效知识程建设知识规范说明:动化脚本开发是采了基于关键字驱动的Robotframework框架,关键字的设计有效性基本决定了关键字推荐的召回率总体原则:基于户视设计关键字需综合考虑可读性,易性,可复性,分为4类环境配置类关键字、业务通道类关键字、配置检测类关键字、业务验证类关键字实践技术点三:关键字推荐知识程建设知识获取举措2:使模型根据存量例和脚本进知识抽取语料来源-Ztest例例对应的RF脚本知识抽取-Prompt知识建设-QA对举措1:直接获取关键字命令作为语料根据关键字设计规范,关键字在设计的时
20、候已经基于户视进设计,与本例的描述存在定的相似性,可直接作为语料,示例:实践技术点三:关键字推荐例名称:LAN侧dhcpserver隔离-配置保存验证测试步骤:步骤1 管理员登录web,络-户侧管理中开启DHCP Isolation,web中完全恢复出(web不持完全恢复出的该步骤可不执),查看配置是否保存;预期结果:步骤1,DHCP Isolation关闭;(湖北电信地区定制该开关默认开启)知识程建设知识获取举措3:在线获取语料将知识的获取嵌到动化脚本开发活动中,ATE在对AI成的脚本进修改的时候同步增加语料实践技术点三:关键字推荐知识程建设知识库建设三种语料在同个知识库中进建设,分为不同的
21、件夹便知识更新和管理,RF关键字知识库共2735切(持续增加)实践技术点三:关键字推荐知识程建设知识评估实现案:当知识库&RAG案更新触发评估,从AI辅助脚本开发活动数据库中提取数据,根据脚本名称获取例描述,通过RAG的流程重新对关键字进召回,同时从脚本中提取涉及的关键字进召回率计算标:提升持续优化知识库&RAG案来提升关键字的召回率,进提升脚本成率*召回率=检索回来准确的关键字数/关键字数根据脚本名称通过Ztest系统获取关联的例,根据脚本的路径从gerrit仓库获取已部署的脚本实践技术点三:关键字推荐知识程建设知识应实践技术点三:关键字推荐本例意图识别Prompt召回的DSL关键字库#DS
22、L关键字库text检测WAN连接定制管节点参数值串检测参数值新增双栈桥连接WEB登录语服务器修改三通话业务过滤抓包报登记呼叫保持业务检测语注册状态管检测节点参数值管停协议跟踪新增管业务通道管开启协议跟踪获取设备注册信息管检测设备上线管获取主关上从关节点信息串检测个性化参数值等待主从关组成功 查找匹配itms报内容成功获取itms指定序号的报内容变量包含字符串重启设备管检测节点参数值延时等待串模拟FPGA异常修改设备注册向导配置步骤1:【DSL关键字库召回】根据本例通过模型进意图识别后召回的关键字库组合Prompt,输给模型召回意图映射的DSL关键字库#测试例#例名称:增强型桥接开关配置-M00
23、2-WEB新建增强型桥测试#测试步骤:1.WEB新建条PPPOE双栈上WAN连接,不配置host模式选项;ITMS连接管,查看该WAN连接的X_CT-COM_CloudCPEEnable节点值2.管上查看如下节点值:InternetGatewayDevice.WANDevice.1.WANConnectionDevice.2.WANPPPConnection.1.X_CT-COM_LanInterface-DHCPEnable、InternetGatewayDevice.LANDevice.1.LANHostConfigManagement.DHCPServerEnable、InternetG
24、atewayDevice.LANDevice.1.X_CT-COM_DHCPv6Server.Enable InternetGatewayDevice.LANDevice.1.X_CT-COM_RouterAdvertisement.Enable3.使dbus命令查看CloudCPE_Enable值:gdbus call-system-d com.ctc.igd1-o/com/ctc/igd1/Info/Network-m com.ctc.igd1.Properties.Get com.ctc.igd1.NetworkInfo CloudCPE_Enable#预期结果:步骤1节点默认值为fal
25、se步骤2 值都是true步骤3 返回(,)#任务你是位电信产品及家庭络产品的测试专家,我希望您能根据*测试例*内容,从*标准意图*中寻找么个测试例步骤中的测试动作所涉及的标准意图,以json的格式将您识别的步骤短句及标准意图进匹配输出。#测试例testcase#标准意图库及描述修改语配置:通过配置上层设备或配置测试设备,修改设备或环境的语配置,例如呼叫保持、呼叫转移、注册等。修改上配置:通过配置上层设备或配置测试设备,修改设备的上配置,例如WAN连接。验证管节点:获取管节点,校验其参数、类型等信息。WEB校验参数:通过WEB访问测试设备的指定,获取参数并校验。抓包验证报:在指定端开始抓包,保
26、存报进过滤验证。镜像抓包验证报:先开启设备镜像功能,在镜像端开始抓包,保存报进过滤验证。操作设备状态:对设备进物理操作,例如按下某个物理按键、重启等。访问络服务:访问环境中的络服务,例如FTP、HTTP等上络业务。模拟语服务:模拟测试设备的语服务,例如户摘机、拨号、挂机等#备注+请尽可能细致地分割测试例步骤,检查其中包含多少个操作步骤,再进标准意图的识别。+忽略测试步骤所包含的媒介信息(例如:管、OLT、云平台、APP等),以步骤的进意图识别。#补充知识+RMS、ITMS都是管的英常表达+IMS是多媒体服务器,主要于语服务的配置知识程建设知识应实践技术点三:关键字推荐本例DSL转化prompt
27、DSL设计的例#任务你是DSL语设计和测试设计专家,需要对家路由器和光猫产品的测试例做DSL设计,可以按照要求步步地输出#要求1.理解每个测试例步骤的意图并对步骤进拆解2.从DSL关键字库中选择合适的关键字来对拆解后的测试步骤进然语描述3.如果没有合适的关键字于DSL本例的描述可以新增关键字设计4.对测试例的步骤进分解让DSL本例的描述尽量原化,每个DSL的步骤仅仅包括个基础动作,每个动作仅操作个对象5.在测试点验证完成之后尽量补充恢复操作的DSL描述testcase#DSL关键字库text检测WAN连接定制管节点参数值串检测参数值新增双栈桥连接WEB登录语服务器修改三通话业务过滤抓包报登记呼
28、叫保持业务检测语注册状态管检测节点参数值步骤2:【DSL例设计】将然语的本例和DSL关键字库组合Prompt输给模型对然语的本例进DSL设计#测试例#例名称:增强型桥接开关配置-M002-WEB新建增强型桥测试#测试步骤:1.WEB新建条PPPOE双栈上WAN连接,不配置host模式选项;ITMS连接管,查看该WAN连接的X_CT-COM_CloudCPEEnable节点值2.管上查看如下节点值:InternetGatewayDevice.WANDevice.1.WANConnectionDevice.2.WANPPPConnection.1.X_CT-COM_LanInterface-DHC
29、PEnable、InternetGatewayDevice.LANDevice.1.LANHostConfigManagement.DHCPServerEnable、InternetGatewayDevice.LANDevice.1.X_CT-COM_DHCPv6Server.Enable InternetGatewayDevice.LANDevice.1.X_CT-COM_RouterAdvertisement.Enable3.使dbus命令查看CloudCPE_Enable值:gdbus call-system-d com.ctc.igd1-o/com/ctc/igd1/Info/Netw
30、ork-m com.ctc.igd1.Properties.Get com.ctc.igd1.NetworkInfo CloudCPE_Enable#预期结果:步骤1节点默认值为false步骤2 值都是true步骤3 返回(,)#例名称增强型桥接开关配置-M002-WEB新建增强型桥测试#DSL例步骤1.新增双栈桥连接 WEB不配置host模式选项2.检测WAN连接定制管节点参数值 InternetGatewayDevice.WANDevice.1.WANConnectionDevice.2.WANPPPConnection.1.X_CT-COM_CloudCPEEnable 应为 false
31、3.管检测节点参数值 InternetGatewayDevice.WANDevice.1.WANConnectionDevice.2.WANPPPConnection.1.X_CT-COM_LanInterface-DHCPEnable 应为 true4.管检测节点参数值 InternetGatewayDevice.LANDevice.1.LANHostConfigManagement.DHCPServerEnable 应为 true5.管检测节点参数值 InternetGatewayDevice.LANDevice.1.X_CT-COM_DHCPv6Server.Enable 应为 true
32、6.管检测节点参数值 InternetGatewayDevice.LANDevice.1.X_CT-COM_RouterAdvertisement.Enable,结果应为 true7.串检测参数值 使dbus命令查看CloudCPE_Enable值 gdbus call-system-d com.ctc.igd1-o/com/ctc/igd1/Info/Network-m com.ctc.igd1.Properties.Get com.ctc.igd1.NetworkInfo CloudCPE_Enable 应返回 知识程建设知识应实践技术点三:关键字推荐步骤切割检索TOP3关键字+关键字筛选
33、策略推荐的关键字(集合)关键字库:#关键字库|关键字名称|必填参|选填参|返回参数|:-|:-|:-|:-|管检测节点参数值|$参数路径,$参数值|返回结果=成功|检测DHCP服务配置|dhcp开关=,ip=,掩码=,关=,起始ip=,结束ip=,地址池掩码=,租期=,option125开关=,ispdns开关=,dns1=,dns2=,设备=,返回结果=成功|管检测节点参数属性|$参数路径|notification=0,accessList=Subscriber,返回结果=成功|管检测节点参数值 InternetGatewayDevice.LANDevice.1.X_CT-COM_Route
34、rAdvertisement.Enable,结果应为 true“管检测节点参数值 InternetGatewayDevice.LANDevice.1.X_CT-COM_RouterAdvertisement.Enable”,“结果应为 true”本切筛选策略:当相似度于98%的时候则只取TOP1关键字步骤3:【关键字推荐】将DSL例的步骤根据逗号等符号进切后进关键字检索,召回TOP3相似度的RF关键字,并获取RF关键字和签名实现案介绍:实践技术点四:脚本生成步骤步骤4 4:【脚本成】:【脚本成】基于RAG检索增强技术提供召回的推荐关键字组合Prompt输给模型成RF脚本脚本成Prompt模板单
35、步骤并成脚本后整体优化你是名资深的动化测试开发专家,熟悉电信领域知识,并精通Robotframework脚本编写,能根据测试步骤利关键字库中的关键字成RF动化脚本。#测试步骤 prompt.strip()#关键字库|关键字名称|必填参|选填参|返回参数|:-|:-|:-|:-|keyword_detail_table#任务根据测试步骤,从RF关键字库中选择1个关键字成1RF动化脚本,该关键字能实现测试步骤所描述的操作(请先输出你所选择的关键字,后输出脚本代码块),并说明你对关键字及参数的选择;#要求+严格以RF脚本的形式,在*robot代码块*中给出脚本;+只能选择1个关键字,成1RF脚本,禁
36、成多脚本;+当需要给关键字传递参时,采Variable=X的形式,携带参数名;+参之间间隔4个空格;+如果步骤描述中不包含对于选填参的描述,则选填参保持默认值,需在脚本中写出;+输出的内容必须满RobotFramework代码语法。+请仅严格使关键字库中提供的关键字名称成脚本#输出示例#有返回值示例robot$wan=新建WAN连接 vlan=1#返回值示例robot新建WAN连接 vlan=1DSL步骤:5.管检测节点参数值 InternetGatewayDevice.LANDevice.1.X_CT-COM_RouterAdvertisement.Enable,结果应为 true关键字库:
37、#关键字库|关键字名称|必填参|选填参|返回参数|:-|:-|:-|:-|管检测节点参数值|$参数路径,$参数值|返回结果=成功|检测DHCP服务配置|dhcp开关=,ip=,掩码=,关=,起始ip=,结束ip=,地址池掩码=,租期=,option125开关=,ispdns开关=,dns1=,dns2=,设备=,返回结果=成功|管检测节点参数属性|$参数路径|notification=0,accessList=Subscriber,返回结果=成功|本例步骤和关键字库DSL例:度量驱动改进:结合2个实践技术点定义了2个关键指标指标指标定义计算法改进向关键字召回率成功召回的关键字数/脚本中的关键字
38、总数1、关键字知识库语料质量优化2、检索案的持续优化脚本成率AI成的脚本数/脚本总数判断当前脚本是AI成的条件:关键字相同且参错误于3;1、Prompt优化(包含输语料质量)2、RAG案的持续优化通过RAG的流程根据本例描述获取关键字为listA,当前脚本部署后使的关键字为listB,召回率=正确检索的关键字数(listA和listB的交集)/listB的数量实践二:AI辅助脚本开发活动提效总结与展望PART 05总结推广01OPTION02OPTION03OPTIONl 创新性:前业界针对然语到RF脚本成的案较少,本实践充分挖掘模型能,以模型为核的然语例到RF脚本成的案具备创新性l 前瞻性:
39、从需求到测试脚本站式成为后续Autowork案穿刺应提供了坚实的技术基础l 户体验:将TSE&ATE测试开发活动涉及的RDC、iCenter、Ztest、gerrit等具通过站式作台完成,提升TSE&ATE作体验技术领先l 例交付:项均迭代内交付需求例数100+,78%的复例通过AI检索动关联l 脚本交付:项动化有效性提升:动化覆盖率进步提升到79%(200+脚本通过AI成)实践价值(业务痛点闭环)l 适性:适于所有基于需求到动化脚本交付的测试活动l 可扩展性:将AI能与触点具进解耦,可在DN Studio上通过编排扩展AI能l 可推性:前该实践已从跨项推并规模应通性展望未来n 通过自生成(Genarator),自校验(Validtor),自修复(Corrector)提升知识迭代反馈速度,实现流程自动化,支撑研发流程合并,降低人工参与度n 完成需求到版本发布测试活动的3个流程的自动化:1)需求分析自动化:通过需求实例化的GWT和需求评审DoD对生成内容自动化验证;2)脚本执行自动化:模拟脚本执行对生成内容自动化验证;3)测试分析自动化:调用运维诊断服务自动排除环境问题,提升执行结果分析准确率THANKS