3-大数据测试体系-微众银行-高洪福(Lucky).pdf

1、微众银行大数据测试体系介绍高洪福(Lucky)个人简介高洪福(Lucky)微众银行20112017 平安银行 存款域2017至今微众银行 贷款域 数据测试负责人目录1、大数据测试定义和体系概述2、大数据环境管理3、大数据数据管理4、大数据测试方法论(分层测试落地)5、大数据测试工具6、大数据测试实践7、未来展望0、大数据测试-定义本文大数据测试指的是针对大数据处理系统的测试，常见于基于hadoop体系的，比如常见的数据指标加工、数据模型、以及各种在hadoop下实现的业务场景(报送、报表、推机构、总账等等等)，我所说的大数据测试是针对这些内容的测试；系统/应用测试基于java、python、C

2、+关注系统流程、逻辑不同的测试工具大数据测试基于hadoop组件关注数据本身的质量不同的测试方法1、大数据测试体系概述 定义：大数据测试体系是在大数据环境下进行测试的一套完整的方法论和框架，涵盖所有大数据测试相关的内容；目标：确保大数据系统在各个方面的质量和可靠性，以满足业务需求和用户期望。通过建立和遵循大数据测试体系，可以提高测试效率、减少风险，并确保大数据系统在生产环境中的稳定运行。大数据环境管理大数据数据管理大数据测试方法论大数据测试工具大数据流程管理。2、大数据环境管理环境自动同步环境自动同步 配套的流程(初始化、同步、灰度、回滚)明确的范围(代码、授权、参数、规则包)配置的管理工具(

3、管理对应内容)自动监控巡检自动监控巡检 业务级巡检(覆盖交易链路、组件)服务监控(服务、资源、交易成功率)异常监控(error日志、badsql、队列阻塞.)动态资源调整动态资源调整 动态资源分配(基于历史统计)准实时动态调整(基于负载)合并队列(闲置/低频整合)快速定位恢复 基于关联分析的排查推荐 基于训练的快速数据处理(情理、洗数、更新)环境工具包()可用性高效性一致性目标：确保测试环境的一致、可用和高效处理，以支持有效的测试活动；3、大数据数据管理目标：有足够丰富形态的可用数据，并能高效快速使用；方案：构建测试数据仓库；数据分析理解 定义数据形态属性和标识数据形态建模 表字段类型训练(相

4、同、差异字段)字段关系训练(主键、索引)数据形态训练 测试过程备份 新形态学习自动备份数据形态备份 差异字段根据关系替换 日期平移(重算逻辑日期)数据克隆 数据形态查询 表字段、洗数自动处理 线上数据分析比对更新测试数仓管理数据关系备份使用数据仓库3、大数据数据管理-数据建模和训练如何定义不同的数据场景？1、识别关键字段如何把数据识别全？1、定义数据边界2、建立数据关系为了使用还要解决哪些问题？1、数据字段替换2、日期平移目标：建立数据形态模型，识别数据并为使用做准备；问题转化：3、大数据数据管理-数据建模和训练目标：识别关键字段，用以识别场景；方案：半监督统计学习；-数据字段识别核心算法：统

5、计每个字段在样本中的枚举值个数，根据发散度来做判定，发散度大于P且样本数量大于M【P和M取值在实验中调整】问题转化：如何定义不同的数据场景？-通过关键字段定义和识别数据场景3、大数据数据管理-数据建模和训练目标：表维度建立数据关系；方案：统计学习；理论依据：基于服务若要查询表的数据，主键用于识别数据，索引用于避免慢查询，因此推断出表关系字段也一定会在主键和索引中产生；核心算法关联表的字段关联key第1步：提取每个表主键value，与其他表主键做匹配，99%(可能在实验中调整)匹配率则链路建立；第2步：索引与其他表主键做匹配，80%匹配率(经验取值，在实验中调整)则链路建立；第3步：未建立关系的

6、表，取字段名+value匹配关联key，80%匹配率(在实验中调整)则链路建立；问题转化：如何把数据识别全？-定义数据边界，并建立表维度数据关系应用数据按产品库；bdp数据按贴原表+基表，应用层加工指定范围处理；3、大数据数据管理-数据建模和训练目标：表维度建立数据关系；方案：统计学习；理论依据：基于服务若要查询表的数据，主键用于识别数据，索引用于避免慢查询，因此推断出表关系字段也一定会在主键和索引中产生；核心算法关联表的字段关联key第1步：提取每个表主键value，与其他表主键做匹配，99%(可能在实验中调整)匹配率则链路建立；第2步：索引与其他表主键做匹配，80%匹配率(经验取值，在实验