A1--马浩南--质效提升之道-智能质量风险引擎.pdf

《A1--马浩南--质效提升之道-智能质量风险引擎.pdf》由会员分享，可在线阅读，更多相关《A1--马浩南--质效提升之道-智能质量风险引擎.pdf（42页珍藏版）》请在三个皮匠报告上搜索。

1、质效提升之道智能质量风险引擎马浩南字节跳动 质量技术专家马浩南字节跳动 质量技术专家在互联网质量和效能开发领域有十几年的实战经验，曾经在唯品会、腾讯、字节跳动等互联网大厂任职，深度参与过的项目包括自动化测试体系建设、CI/CD流程建设、线上/线下压测平台、质量风险引擎、精准测试平台等项目；目前主要研究的方向是精准技术，包括基于智能项目分级和风险分析技术、影响面分析、服务端/客户端精准测试等目录01CONTENTS0203测试质效的思考质量风险引擎介绍项目分级策略04变更质量风险分析策略05未来展望 01测试质效的思考某业务质量痛点RD自测事故占比50%线上事故RD自测需求28%46%需求QA测

2、试后无bug高峰需求暴涨50%，QA难以应付资源利用自动化理论召回12.8%变更管控理论召回10.2%监控事故理论召回29%质量基建挑战：RD自测质量差，自测推进阻力大挑战：如何在业务增长30%情况下，合理分配QA资源到高风险项目挑战：如果在QA资源紧缺的情况下持续提升质量基建思路流程闭环关键 低风险项目RD自测 节省的QA资源持续投入质量基建 质量基建降低自测成本提升自测质量思路基于质量风险的决策质量风险测试资源测试范围质量标准找准质量和效率的关键抓手：质量风险关键风险因子测试资源决策（事前）需求特征复杂度需求文档项目排期人的特征开发/测试经验跨团队协作 能力特征 质量基础建设 自测保障能力

3、 历史特征 缺陷历史 回滚历史测试范围确定（事中）变更特征变更复杂度变更大小变更影响代码质量UT覆盖质量标准分析（事后）质量特征综合测试覆盖率链路覆盖率接口覆盖率测试流水线卡点自动化测试通过率业务卡点决策模式对比l传统人工决策（费时费力，不可靠）l基于风险的自动化决策（高效，可靠）解决思路风险识别风险识别识别和总结日常项目风险建立相应风险规则和特征体系对风险建模实现基于风险的决策风险模型风险模型针对各阶段风险特征进行建模，通过机器学习建立风险分析模型风险决策风险决策使用风险分析模型对项目过程数据进行分析，给出相应风险预测结果协助决策分析挖掘分析挖掘通过度量和bad case分析持续提升分析准召

4、，通过数据挖掘业务质效提升点 02质量风险引擎介绍效果展示需求阶段项目分级建议推送准出阶段风险结果推送风险流程决策风险引擎赋能项目生命周期中的高效决策整体架构 03项目分级策略人工项目分级的痛点某业务人工分级规则 复杂：人工分析的特征和维度多 不靠谱：严重依赖人的经验 低效：每个需求差别较大不可复制 没依据：业务总结的经验规则缺少数据支撑分级特征自测质量需求信息人经验变更影响质量基建成功的关键高准召的分级策略完备自测的保障体系成功分级 准确的分级：减少人工干预，可说服RD自测 完善的自测保障：为自测提供兜底，提升质量信心，避免漏测关键点决策流程双策略决策模型：海量历史数据，各业务通用特征规则：

5、模型特征不能覆盖，业务定制化关键点Bug分级模型预分级阶段：需求阶段模型：基于XGB的二分类标签：需求是否有缺陷粒度：需求风险级别：模型分析结果准召：87%/80%最终分级阶段：研发阶段模型：基于XGB的二分类标签：单端是否有缺陷粒度：单端风险级别：取风险最高的端准召：90%/85%项目分级的主模型 默认一个大业务一个模型关键点分级子模型内容：子业务+需求标题模型：基于Bert的文本二分类优点：提升整体准召，特别是在子业务的准召需求标题模型模型：GPT4或内部LLM分级特征：需求功能点数量、变更模块数量等优点：增加需求有效特征数量需求文档LLM分析标签：测试ROI（需求bug数量/测试排期）特

6、征：和Bug分级模型基本一致优点：从ROI角度进一步压缩测试资源测试ROI分析模型关键点准召提升风险级别确定风险阈值自动调整：欧氏距离算法目标值：业务自测占比、准召调整粒度：子业务线数据质量问题通用模型：全量业务优质数据训练替代低准召业务模型排除离群数据异常特征检测&告警模型优化数据保鲜：定期用近期数据自动重训上线流程：自动上线高准召模型版本开启AutoML特征分析：提琴图、散点图、特征重要度大盘等业务规则优化规则准确率度量自动下线不准规则后验度量准召大盘&数据下钻Bad case标注&分析模型训练闭环模型训练全流程自动化在线预测数据自动进入离线数仓提升