A1--鲁四喜 陈玉--基于混元大模型的场景自动化用例生成探索.pdf

1、基于混元大模型的场景自动化用例生成探索鲁四喜腾讯支付与金融线 大额支付 质量负责人陈玉|腾讯支付与金融线 大额支付 高级测试工程师目录CONTENTS业务背景及痛点分析0102场景自动化用例生成方案03落地效果及典型问题04总结&后续规划PART 01业务背景及痛点分析业务背景：腾讯微企付腾讯旗下企业支付产品，为小微企业、连锁品牌提供采购付款、智能分账、账户管理、财务管理等专业服务。替换文字单击此处输入你的正文功能丰富提供大额转账、对公付款、智能分账、账户管理、财务管理等服务。微企付安全合规符合监管要求，资金安全有保障畅联银行腾讯金融科技与500+金融机构有紧密合作关系，为腾讯微企付业务提供丰

2、富的金融合作资源。https:/ 02场景自动化用例生成方案思路1：基于文本用例生成自动化用例步骤一：人工编写场景文本用例（受限于大模型在需求理解上能力有限，人工完成文本用例设计）步骤二：大模型基于文本用例，基于已有的自动化用例项目代码，生成新场景的自动化用例。挑战：1.大模型对已有代码框架的理解能力有限(缺少私有化技术知识)2.大模型对文本用例的理解能力有限(缺少业务领域知识)3.测试断言问题（用例预期结果如何写？）思路1：基于文本用例生成自动化用例受限于大模型的当前能力，无法生成有效的场景自动化用例新思路：基于调用链的场景自动化用例生成系统整体架构场景用例脚手架Agent 实现原理场景设置

3、prompt示例场景用例脚手架代码生成示例接口调用Agent-生成接口调用代码的难点接口调用Agent难点解决思路接口调用Agent日志预处理程序接口调用Agent日志预处理程序输出示例接口调用Agent请求参数来源分析接口调用Agent接口请求参数匹配组装器接口调用Agent请求体代码示例接口调用Agent接口调用代码生成器接口调用Agent接口调用代码生成Prompt接口调用Agent接口调用代码生成示例结果检查Agent设计原理结果检查Agent结果检查代码示例PART 03落地效果及典型问题效果展示用例编写耗时更短，检查点更全面代码人工修改点示例代码人工修改点示例进一步优化落地时遇到的典型问题PART 04总结&后续规划总结总结理解大模型的能力边界大模型不擅长什么？：暗知识，上下文依赖多的复杂任务大模型擅长什么？：自闭环的结构化信息，可拆解成简单子任务的复杂任务，分而治之。大模型的定位：当前仍是提效助手为大模型创造条件、充分发挥其的优势人先跑通全流程，人做不到的大模型未必做得到 数据清理/工作流梳理+传统算法+大模型规范化、规范化、规范化文档规范化：如需求文档、接口文档、DB文档等。代码规范化：代码清晰易懂、变量命名无二义等。日志规范化：链路正确、内容完整、格式规范等。010302后续规划感谢聆听关注公众号