彭华聪傅汤毅-AI驱动的需求洞察与自动化闭环实践.pdf

1、AI驱动的需求洞察与自动化闭环实践彭华聪、傅汤毅|B站彭华聪B站资深测试开发工程师B站供给生态质量团队资深测试开发工程师。目前主要负责B站内容审核业务质量体系建设和探索。也曾任职阿里巴巴测试开发专家，负责过搜索、实人认证等产品从事质量工作十余年，经验丰富。傅汤毅B站资深测试开发工程师高级测试开发工程师，推进并落地了业务线自动化建设，流水线覆盖，有丰富的的服务端经验及平台建设经验。目 录CONTENTSI.背景II.问题/痛点III.解决思路/整体方案IV.具体实现/技术实践V.总结与展望背景PART 01行业背景工作量激增软件迭代周期缩短1-2周，测试工作量极速增长，人工测试难以满足效率要求。

2、质量要求提升分布式架构的复杂性不断增长，面临的技术环境。对于稳定性、体验、资损等专项类保障期望逐渐增多成本压力显著人力成本上涨与质量高要求得矛盾要求需要技术手段优化投入产出比AI技术发展技术成熟技术成熟度显著提升，各类AI模型准确率不断提升基础完善AI服务从模型种类、基础服务提供等方面得到广泛应用。接入门槛大大降低广泛应用AI在自动驾驶、医疗等领域的应用取的可观的成效，为全面替代传统测试奠定技术基础。010203问题PART 02传统迭代模式的弊端新需求需求评审技术评审开发中手工用例评审提测/测试验收灰度发布线上巡检人工成本大维护困难容易遗漏用例评审需求评审提测测试测试用例人为编写需花费大量时

3、间线上巡检传统UI自动化用例测试方式为DOM扫描维护成本高提测测试用例平台执行的接口自动化用例结果不稳定，维护投入大用例评审手工测试用例的一些临界点容易出现遗漏提测测试自动化用例的边界情况无法测试完全测试稳定性有限线上巡检传统UI自动化用例测试且易受前端迭代影响，不太稳定提测测试页面测试过程中需频繁变更账号或环境，手动操作各个环节，麻烦且费时排查不方便提测测试自动化用例的测试结果一旦出现报错，由于用例存在多个节点且有上下文依赖关系，难以快速排查出错误原因需求排期采用班车制，需求集中处理，人工评审、排期调整工作量大无法对需求新增或修改的接口自动化用例完成快速覆盖，人为新增需花费大量精力和时间解决

4、方案PART 03解决思路业务逻辑工作流程工具平台数据测试能力学习&实践总结方案思考出方案Review基础资料执行验证思考过程执行过程执行验证结论整体思路：利用AI的学习和推理能力完成常态化的测试活动方案Review、补充学习&实践总结人工处理AI处理人工辅助整体架构业务基础能力AI框架智能化流程需求处理测试方案输出手工测试用例安全测试方案接口智能用例BittoAKALI平台ANT平台大模型APIfe-test平台性能测试方案接测模式需求排期用例信息用例类型UI智能用例AI模拟操作助手分析结果问题列表差异图页面自动操作操作可视化关键节点截图智能工具知识库需求文档接口文档用例历史记录基准图库录制

5、流量LLM增强检索RAG投稿创作中心稿件审核MCP智能测试报告用例通过率接口用例修正数UI用例分析数整体设计生产流程Agent数据业务文档需求文档Akali自动代码仓库数据获取AILLM知识库QAAI产出方案人工确认产出需求分级自动化用例补充智能测试报告数据处理任务识别任务特性获取方案持续学习知识学习需求分级需求评审开发中用例评审提测测试中灰度发布标准化文档结果反驳接口智能用例生成UI智能用例测试|智能测试报告模拟操作助手MCP具体实现PART 04需求分级实践-数据准备创作多媒体审核业务模型业务文档业务俗语系统依赖业务流程计算规则梳理向量数据库需求内容需求评估清洗QA问答样本库需求用例人工经

6、验形成规则优化&验证Tapd数据prompt关联23%27%42%57%85%0%10%20%30%40%50%60%70%80%90%准确率准确率线上巡检需求评审阶段技术评审手工用例评审提测测试灰度发布验收开发需求分级实践-实践结果Step1:流程触发Step2:AI分级结果Step3:手工用例结果Step4:更新结果具体实现接口智能用例接口信息接口路径：xx参数描述：xx环境信息：xx.Akali平台接口元信息测试计划测试用例AI分析结果反馈数据加工智能用例prompt流程要求1.解析参数定义2.结合知识库流量分析3.生成自动化接口1.参数生成规范2.断言规范3.用例类型规范智能用例分析R