A4--邓雄剑--大网场景还原和监控评估.pdf

《A4--邓雄剑--大网场景还原和监控评估.pdf》由会员分享，可在线阅读，更多相关《A4--邓雄剑--大网场景还原和监控评估.pdf（31页珍藏版）》请在三个皮匠报告上搜索。

1、大网场景还原和监控评估邓雄剑华为技术有限公司、性能可靠性测试专家邓雄剑华为 性能可靠性测试专家华为公司性能可靠性测试专家，负责产品线性能测试能力构筑，主要关注大网场景还原、系统可观测和测试系统等能力建设。目录C O N T E N T S01.大网场景测试的背景和挑战02.大网场景建模原理03.大网场景还原、监控和评估04.大网场景还原效果05.总结与展望大网场景测试的背景和挑战01大网场景测试的背景和挑战测试场景是什么如何判定是否满足预期？SUT系统架构系统架构InputTestModelBaseline(Ruler)Actual(Test Result)？Pass：满足Fail：不满足模型

2、获取/生成模型监控评估数据分析 设计补充竞争力 标尺大网场景还原的三大挑战：输入行为如何和外部保持一致？被测系统的压力如何和外部保持一致？如何监控和评估测试模型的一致性？系统行为如何观测测试模型库Output大网场景建模原理02业界参考:中国航天员零伤亡是怎么做到的航天员零伤亡航天员训练模型载人航天实射现场训练内容:140项,覆盖实射场景各种特征,定义训练指标训练要求:模拟实射场景特征,训练成为人体的本能训练行为超重倍数:5倍+,极值8倍升空时长:600秒万无一失载人航天发射规模载人航天发射次数:9次上天总人数:14人,23人次发射行为提升训练行为与发射行为的一致性提升训练行为与发射行为的一致

3、性:【方法方法】一通过科学实验分析行为特征;二通过实射获取行为特征;【案例案例】神舟5号升到40公里时出现6倍超重叠加8赫兹低频共振,宇航员极度痛苦,因为训练时没有考虑到会出现这两种特征叠加，训练与实射特征出现不一致,靠宇航员的身体和意志挺过去的,神舟六号后来就补上了要要 点点应用场景与用例组合量达到数十亿，很难达到高度一致系统架构及系统间交互行为复杂组合2.1万个测试用例(以X产品为例)功能用例性能用例可靠性用例部署场景(10种种)升级路径(30条条)硬件机型(5种种)OS/DB/虚拟化版本(6种种)浏览器类型(3种种)管理规模(6种种)34亿测试组合外部操作行为和系统行为复杂，测试组合上亿

4、，很难达到高度一致大网场景建模原理：行为一致性，以小球玩转大球外部行为测试行为行为模型n特征:操作使用行为具有正态分布特征,常见行为占68.2%,少见行为占27.2%,罕见行为占4.4%n目标:测试仿真的目标是覆盖常见的行为和少见行为,从而让测试拦截住绝大部分问题,并不是说要覆盖所有行为大网行为仿真目标大网场景还原、监控和评估03大网场景建模方案镜：源于真实交通数据的全息式智能场景库元模型：从外部行为特征来建模From特斯拉“镜像库”： 正衣冠：通过铜镜可以知道我们穿戴是否整齐一致镜像库本质是做一面“镜子”，镜子的一面是真实的外部场景，另一面是我们设计的场景，通过“镜子”可以清晰的了解我们当前

5、做的和外部真实场景的差距是什么镜子：测试的测试（元测试），测试行为的“标尺”元模型不做任何决策，只真实反应外部的使用情况参数来自外部和规格，但各比率由外部真实数据所决定 测试类型只关联特征，不关联维度，特征是给对应的测试类型用基于元模型实例化各测试类型的模型（测试模型+评估模型），道生一，一生二，二生三，三生万物建模原则行为特征提取:建数据分析工具，算法辅助提取特征外部交流调用链日志外部问题对分析的数据进行清洗后，基于规格分析和历史经验数据提取，并借助算法辅助实现行为特征识别，支撑产品测试建模算法辅助规格分析原始数据清洗、结构化特征提取行为特征列表特征值计算需求规格历史经验数据分析工具特征识别

6、与建模固化产品模型实例化成版本模型行为模型设计:按场景引入特征值，明确测试规格行为特征列表业务操作系统运行环境组网结果判定n浏览器类型：Google64：xx%，IE：xx%n特征2：XX：XX，XX：XXn特征3一局一策多局一策n特征1：param1:30，param2:20n特征2：param1:20，param2:5n特征3解析数据汇聚数据模型规格n 特征1n 特征1大网场景模型设计特征1：测试规格：按最大值，执行规格：最大值满足度浏览器类型：测试规格：按比率分布，执行规格：最后一次满足特征3：测试规格：按均