《Gtest_【智能测试专场】-《AI赋能测试:Hybrid RAG技术在自动化测试用例生成中的创新探索》360康博.pdf》由会员分享,可在线阅读,更多相关《Gtest_【智能测试专场】-《AI赋能测试:Hybrid RAG技术在自动化测试用例生成中的创新探索》360康博.pdf(34页珍藏版)》请在三个皮匠报告上搜索。
1、测无止境 数智共进2024全球软件测试技术峰会北京 12月AI赋能测试:Hybrid RAG技术在自动化测试用例生成中的创新探索2024年12月06日研究背景T H E P A R T 0 1RAG的应用T H E P A R T 0 2Hybrid RAGT H E P A R T 0 3未来展望T H E P A R T 0 4目录01研究背景研究背景人力资源消耗较高灵活性较低历史数据利用率较低复杂场景难应对节约人力资源灵活性较高测试用例可解释性较低复杂场景难应对适用于规模较小的文档历史数据利用率较低充分利用历史数据增强测试用例的可解释性提升测试用例的准确性提升测试用例的相关性适用于规模大
2、、复杂的文档可以适应复杂场景RAG简介索引(Indexing)文本分割:将文档分解为文本片段,其目的是在保持语义连贯性的同时,减少嵌入内容中的噪声。数据处理:先对文本片段进行特征提取,再将关键特征转化为向量数据或者图数据。构建索引:将文本数据、向量数据和图数据建立索引,并存储至数据库中。检索(Retrieval)查询处理:对用户查询进行处理,比如查询重写、特征提取、关键点提取等操作。相似度计算:计算用户查询与数据库数据之间的相似度。排序与选择:根据相似度对数据进行排序,并选择最相关的数据作为检索结果。生成(Generation)上下文融合:将检索得到的数据与用户查询结合形成上下文。文本生成:以
3、融合后的上下文作为大模型输入,指导大模型生成回答。优化调整:对大模型的答案进行优化和调整,从而确保答案流畅、易于理解且符合要求。1 12 23 3Vector RAG和Graph RAG02RAG的应用应用场景-测试业务问答在测试过程中,测试人员可能会查询历史文档中的相关内容,以了解相关业务逻辑和需求。测试人员也可能会查询关于特定功能的详细内容,从而确保测试用例可以覆盖所有关键点。应用场景-测试用例生成(历史需求)测试人员通过检索词从历史文档中提取相关功能和业务逻辑,通过解析相关内容来自动生成详细的测试用例,以提升测试效率和准确性。应用场景-测试用例生成(增量需求)面对不断变化的需求,测试人员
4、需快速响应新增需求。对于新增需求,测试人员首先需要检索并理解历史文档的相关部分,然后结合新增需求和相关历史数据,编写与新需求对应的测试用例。Vector RAG和Graph RAG的应用效果RAG在自动化测试用例生成的挑战Vector RAG的检索精度较低由于向量空间中相似度并不一定能反映真实的语义相似度,且数据中的噪声也会干扰向量检索的结果,导致RAG检索结果有时并不理想。Graph RAG资源消耗较大尽管Graph RAG在检索精度上有所提升,但它也会消耗较多的Token资源和存储空间。此外,图谱的更新同样需要大量的资源投入。Graph RAG提取的知识图谱较为分散Graph RAG提取的
5、知识图谱较为零散,并且会包含不必要的实体信息。这些冗余实体不仅占用了宝贵的存储资源,还会对检索结果产生干扰。用户意图理解不正确用户意图理解错误会直接影响RAG系统的检索效果,从而影响自动化测试用例生成的质量。03Hybrid RAGHybrid RAG整体框架Vector RAG的索引和检索Graph RAG的索引和检索查询处理模块多级缓存机制四大核心内容四大核心内容Hybrid RAG的独到之处在于它能够同时利用Vector RAG的广泛相关性和Graph RAG的结构化信息来提供更加精确且全面的答案。Hybrid RAG有四大优势:检索精度高、资源消耗低、提取的图谱更加聚合、用户意图理解更
6、精确。Hybrid RAGHybrid RAG的优势的优势Vector RAG索引和检索过程利用OCR模型对文档的内容进行文字提取,然后构建倒排索引和向量索引,以便于高效处理文档信息。索引阶段索引阶段通过分布式检索加速检索过程,并运用Rerank模型对相关内容进行重排序,确保检索结果的高相关性和准确性。检索检索阶段阶段结合向量检索的语义理解和全文检索的关键字匹配二者的优势,进一步提高检索精度。Vector RAGVector RAG的优势的优势Graph RAG索引和检索过程对实体进行矫正和去重处理,减少重复实体的提取,不仅降低资源消耗,而且减少冗余实体对检索效果的影响。图图元素优化元素优化设