2019年阿里妈妈智能质量中台建设.pdf

《2019年阿里妈妈智能质量中台建设.pdf》由会员分享，可在线阅读，更多相关《2019年阿里妈妈智能质量中台建设.pdf（52页珍藏版）》请在三个皮匠报告上搜索。

1、阿里妈妈智能质量中台建设目 录C O N T E N T S02技术背景及测试挑战测试终局的思考0304阿里妈妈智能质量中台的思考与设计智能质量中台的落地0506基于质量中台的持续交付01业务背景07测试技术体系的演进业务背景Part.01最早的广告刊登广告广告代理公司在线广告广告发展趋势客户端平台直通车定向品牌数据反作弊预估引擎平台训练引擎解决方案Java应用结算联盟中间件算法千亿pv百万级别qps千亿现金流40+核心应用679需求上线，1100+次应用发布1:4:6测试:工程:算法技术背景与测试挑战Part.02广告引擎的特点1.海量数据计算与极短RT的约束2.广告千人千面的特性带来系统可

2、解释性难题3.系统快速迭代中质量和效率的平衡4.测试复杂度高技术背景与测试挑战问速反馈极致追求实时数据链路个性化商业场景超大规模在线系统引擎系统对性能极高要求带来的挑战引擎在线实时系统对稳定性极高要求带来的挑战复杂业务场景和逻辑纵深的挑战高频迭代发布的挑战收入敏感系统结合个性化业务的问题debug的挑战工程算法平台对质量和效率的挑战千级别+线上发布性能极致追求工程和算法结合AI的演进：超大规模引擎工程系统和深度学习模型测试挑战大规模分布式加海量数据的C+引擎系统的挑战大量算法策略带来的结果不确定性的挑战测试终局的思考Part.03关于测试终极追求的定义对质量和效率的定义：质量：数学角度就是系统

3、输出的表现方差少（2016年）效率：Code 速率提升和反馈回路时间减少（2017年）代码速率：f（代码速率）=f（线下测试速率）+f（发布速率）+f（线上冒烟速率）代码速率=一行代码从开发到交付到线上的速率线下测试速率=一个case从编写到可运行的速率发布速率=一次变更发布到生产的速度线上冒烟速率=一次冒烟执行的速度测试效力=线下测试+线上冒烟测试的速率什么是质量、什么是效率，怎么定义？极致质量和效率的追求？关于终局的思考“极致”左移规模越来越大的工程系统和算法模型业务场景愈发多样和复杂快速迭代对研发效率的强诉求“极致”右移三个业务发展终局下测试的终局？线下测试场景和线上业务场景始终是有GA

4、P的Case编写和维护成本高线下测试线上测试测试活动终局终局极致质量和效率的追求阿里妈妈智能质量中台的思考与设计Part.04“人、智能化工具的高度结合从而推高阿里妈妈研发效能的天花板”基于质量效率思考推到出的质量中台演进短低长高冒烟测试对业务覆盖率Feedback Loop Time稳定性目标效力短板质量效率线上测试问题debug联调测试数据测试功能测试性能测试短低长高冒烟测试对业务覆盖率Feedback Loop Time线上测试问题debug联调测试数据测试功能测试性能测试平台能力建设基于质量能力中台定义并实现一种高置信度、快速、低成本的代码发布生产关系12341234 重新定义冒烟测试

5、 依托于问题debug质量闭环极致效率追求的测试平台无人值守的性能测试无人值守的发布验证智能质量中台测试的基础设施业务测试PTM质量中台+-研发效率解决方案研发效率数据化平台MarkovACP玄武华佗昆仑镜UT功能A/B性能A/B单模块测试联调测试预发联调稳定性测试线上测试线上debug线上监控git测试域发布&运维&测试右移研发域&测试左移代码管理C-popOOPSTesla黄金眼/alimonitorAonegitOrcArsenal镜像管理部署发布提测管理算法实验监控报警问题管理构建提测发布A/B test监控问题管理智能质量中台大促保障工作台实验平台攻防演练平台预案平台1.可编排、服务

6、化的代码生产质量流水线2.质量文化建设基石3.重塑新的研发生产关系智能质量中台的落地Part.05智能功能测试平台Markov智能线上测试平台玄武无人值守的智能压测平台ACP智能诊断平台线上巡检线下测试的演进?关于功能测试的思考方向想测即测极致的case编写的用户体验测试想法的快速映射为Case高效的用例管理高效的测试环境管理极致的运行效率极致左移对测试效率的极致追求诉求：测试产品Markov测试平台 多视角极致左移测试体系体系设计：抛弃传统模式，把功能测试、对比测试、性能测试左移到提测前 打破线上线下环境壁垒，把线上请求，数据，生产环境左移到发布前 功能、对比、性能、UT核心能力服务化 通过