A2--杨萍--浅谈基于大模型的智能测试技术.pdf

《A2--杨萍--浅谈基于大模型的智能测试技术.pdf》由会员分享，可在线阅读，更多相关《A2--杨萍--浅谈基于大模型的智能测试技术.pdf（29页珍藏版）》请在三个皮匠报告上搜索。

1、浅谈基于大模型的智能测试技术杨萍字节跳动 基础架构目录CONTENTS1.智能测试技术现状2.LLM技术快速兴起3.LLM for Testing 典型场景4.字节的探索与实践5.未来展望智能测试技术现状AI for SE的研究集中在使用机器学习、知识图谱、信息检索等技术，助力SE传统领域如测试、分析、代码生成与理解等的效率、性能和准确性AI在软工领域的研究趋势NLP for 代码生成GUI 控件识别自动设计软件布局恶意软件识别服务事故聚合缺陷预测与定位生成测试输入/生成断言强学/好奇心生成测试数据检测安全与隐私风险Bug Triage/Locate精准测试/用例推荐NLP/CV传统ML无监督

2、分类学习知识图谱软工在AI也有广泛探索：对AI 模型本身的测试，AI项目的分析，AI公平性/偏见问题的评价等。智能测试技术现状近几年软工顶会的软件测试相关的文章（215篇），热门Topic：AI for testing：25篇Testing AI：34篇领域特定测试：48篇嵌入式系统（以智能驾驶为主）：14篇移动App（集中在Android）：21篇并行系统（concurrency bugs）：8篇云服务：3篇区块链：3篇!关键Topic!#难点问题!$行业走势!%典型工具智能测试技术现状移动App测试：优化遍历效果，MBT；录制与回放；具体测试；优化Fuzzing；测试用例管理：用例挑选/推

3、荐，精准测试，用例优先级排序；其他：微服务，机器人，嵌入式系统（自动驾驶）；数据标准化，At Scale业务场景，资损，业务安全更集成化的测试解决方案LLM逐步在测试领域发光发热GUI：Sapienz，Ape，Stoat，Fastbot服务端/单测：EvoSuite，AFL-Fuzz工业界的各类质量域解决方案LLM技术快速兴起LLM技术快速兴起 Key words：LLM/AIGC/AIGA ChatGPT/Code Interpreter/各类Copilot 趋势：数据质量越来越重要 垂直场景（Domain）的应用前景光明 掘金：Infra：计算&硬件，存储，网络 PaaS：向量数据库，ML

4、平台，安全 应用：应用开发，BI，营销注：图片来自网络LLM技术快速兴起来自：https:/arxiv.org/pdf/2304.03442.pdf 局限：Transformer：有限的视野 过时和矛盾的输出结果“不负责任”顽固的幻觉问题 复杂任务怎么办？Prompt Engineering，各种PE In-Context Learning，语境学习 Fine-Tuning，微调 Autonomous Agents，AI自治 知识库+搜索引擎+LLMLLM技术快速兴起 Codium，Diffblue 监控分析：Traceloop 交付自动化编码：Copilot，Cursor信息搜集：ChatG

5、PT文档编写代码审核生成式设计：Galileo AI，DiagramDesign 2 Code：anima，DhiWise,etc规划/设计开发测试交付/运维LLM for Testing 典型场景LLM for Testing？Generate Content V.S.Generate Action-生成用例描述-生成测试数据/输入-Debug-用例执行-结果分析-Debug-自动程序修复Generate ContentGenerate Action典型场景1:单测生成问题：传统单测生成技术需同时兼顾程序分析与测试生成不同语言的特性，意味着要迁移程序分析到不同PL上LLM优势：降维突破语言之

6、间的壁垒可利用传统方法为LLM for UT 生成提供大量训练数据评价指标正确性充分性可读性可用性典型场景1:单测生成LLM 结合SBST，例：CodaMOSA(ICSE2023)把单测生成当作任务，例：ChatTester(ArXiv2023)，两步走：让ChatGPT总结Focal method的意图，将意图作为Prompt；循环生成单测，让ChatGPT自己与自己交互，处理编译问题；来自：https:/arxiv.org/pdf/2305.04207.pdf典型场景2:GUI Testing问题：GUI测试工具在生成适当的文本输入以跳转到下一页面困难LLM优势：从非结构化的GUI页面中提