3韩金成-iSQE-360搜索全链路质量保证体系.pdf

《3韩金成-iSQE-360搜索全链路质量保证体系.pdf》由会员分享，可在线阅读，更多相关《3韩金成-iSQE-360搜索全链路质量保证体系.pdf（36页珍藏版）》请在三个皮匠报告上搜索。

1、中国国际软件质量工程峰会中国国际软件质量工程峰会International Software Quality Engineering Forum360360搜索全链路质量保证体系搜索全链路质量保证体系360搜索测试部测试开发高级专家 韩金成2023052622023 iSQE 目录目录360搜索全链路质量保证体系插件化配置化自动生成式流水线多维度多粒度性能质量保证线上监控质量保证的最后一公里目录目录contents32023 iSQE 360360搜索全链路质量保证体系搜索全链路质量保证体系42023 iSQE 项目全生命周期质量保障项目全生命周期质量保障产品质量易用性交互体验适用性意义质量保

2、障应该贯穿整个项目的生命周期，从需求阶段开始到研发、测试、发布、线上运行，每个阶段对应不同的质量保证手段，才能在使问题更早的暴露出来，越早发现，带来的成本越低，反之，成本越高测试质量研发质量代码质量编程风格自测程度测试质量功能覆盖性能指标兼容性运维发布质量发布流程功能回归异常处理线上质量健康监控效果监控稳定性监控52023 iSQE 360360搜索全链路质量保证体系搜索全链路质量保证体系62023 iSQE 插件化配置化自动生成式流水线插件化配置化自动生成式流水线72023 iSQE 配置化流水线配置化流水线协作控制变更，安全稳定压倒一切开发、运维部门间缺乏沟通与协作流程工具规范部署时不经过

3、制品库部署后没有全面的健康检查测试环境不全，缺少某些环境没经过测试和准生产环境没有统一的制品库环境创建非常慢手工登录SSH配置环境没有统一的应用部署工具没有统一打包规范不同环境的部署方法不一致不同环境的部署包不一致不同环境的创建方法不一致82023 iSQE 传统传统PipelinePipeline存在的问题存在的问题92023 iSQE TeipeTeipe自动化流水线优势自动化流水线优势运行流程配置化插件化扩展方式内置丰富自动化组件利用服务组管理上下游部署机器与集群管理102023 iSQE TeipeTeipe自动化流水线运行过程自动化流水线运行过程112023 iSQE 技术架构与流程

4、技术架构与流程122023 iSQE 实例效果实例效果展示展示132023 iSQE TeipeTeipe自动化流水线效果自动化流水线效果管理1.代码管理2.版本控制3.制品管理4.环境治理5.自动化管理6.报告管理7.机器管理2w+次运行效率1.开发自测效率2.问题前置3.交付能力4.服务接入效率5.测试效率6.降低人力成本160+服务142023 iSQE 多维度多粒度性能质量保证多维度多粒度性能质量保证152023 iSQE 搜索引擎性能特点搜索引擎性能特点牵一发而动全身，单一服务需要更高的稳定性来保证整体的稳定性、异常场景下不影响整体稳定性、高度的整体把控能力稳定性要求高复杂的接口参数

5、、丰富的用户意图，需要覆盖更全面的数据，覆盖更多的逻辑场景，性能测试数据集合的组建成为关键覆盖率要求高精准度要求高测试效率提升单一服务P99毫秒级延时要求，测试中如何精准评估服务的性能，需要完善的指标体系来反映服务状态上下游关联服务众多，关联服务影响本次测试，需要最小化测试单元，自动化工具体系帮助研发与测试提高测试效率，减少人力成本162023 iSQE 面临的问题面临的问题02性能实施如何让性能实施更简单、可靠04结果分析指标怎么用，如何固化分析流程，结果一目了然01数据准备如何在有限的压测时间覆盖更多的场景03指标收集指标是否能反映性能的真实问题，收集哪些指标05问题发现如何线上第一时间发

6、现问题？发生问题后如何快速恢复与止损？172023 iSQE 多维度数据集合多维度数据集合-提高性能测试覆盖度提高性能测试覆盖度新功能覆盖不够旧功能需求变化异常场景覆盖不够时效性不强数据不可复制难维护动态数据集丰富程度时效性强可维护常规数据182023 iSQE 多维度数据集合多维度数据集合-提高性能测试覆盖度提高性能测试覆盖度192023 iSQE 分布式压测平台分布式压测平台提高实施效率提高实施效率执行效率执行效率手动、脚本、jenkins具有局限性，很难做到通用、友好，像阶梯发压、各种定制参数等等不容易做到，带来了更多的脚本指标收集、实时性指标收集