3-李建爽-京东健康数据测试平台实践之路.pdf

1、京东健康数据测试平台实践之路李建爽李建爽拥有10年以上互联网及传统行业丰富测试经验，专注于效能平台架构设计开发、研发效能度量体系建设等。参与撰写图书京东质量团队转型实践-从测试到测试开发的蜕变嘉宾照片目录CONTENTS大数据的现状01 数据测试的痛点是什么？02 平台搭建架构与实践03 平台带来的收益04 数据测试平台的未来规划05 01大数据的现状大数据的现状随着信息技术的发展，大数据规模及其存储容量正在以指数级的速度增长，6V时代已经到来Volume-数据量大Velocity-速度快Variety-多样性Veracity-真实性Valence-连通性Value-价值大02数据测试的痛点是

2、什么？数据测试的痛点你的数据测试足够充分么？需求上线后，你能确保所有的数据无任何质量问题么？数据测试的痛点0201用例选取不充分数据质量不可靠需求多、迭代快，数据量大测试资源缺乏、对数据情况了解不充分校验不够充分，历史数据问题重复、缺失、格式不一致正常数据测试+异常数据测试？=全部测试正常数据OK+异常数据OK？=无质量问题03平台搭建的架构与实践数据测试平台搭建架构与实践平台要解决的问题是什么？01平台的特点02平台的架构03平台在项目的应用及案例04平台要解决的问题是什么？整体数据分析结构分析数据分析分布分析血缘关系不可靠数据分析重复丢失格式不一致等等平台搭建架构与实践平台要解决的问题是什

3、么？01平台的特点02平台的架构03平台在项目的应用及案例04平台的特点灵活的扩展性、可配置化SQL模版、质量分析规则、邮件模板可配置化自动化执行支持手动触发、自动触发；支持周期性执行；广泛的数据源支持支持关系型数据库、大数据平台多维度的数据质量分析模型结构分析、数据分析、分布分析、血缘关系等方面可视化用户操作可视化多维度详细报告展示平台特点多样化的SQL模板主键测试、异常值测试、枚举值测试、边界值测试、敏感数据测试、用户自定义等等平台搭建架构与实践平台要解决的问题是什么？01平台的特点02平台的架构03平台在项目的应用及案例04平台搭建架构与实践-平台的架构数据缺陷库研发自测功能测试交付验收

4、用户体验线上事故数据样本SQL模版数据测试规则血缘关系建立缺陷规则缺陷关注度计算逻辑类用户自定义需求分析扣分机制数据优化建议量化测试经验AI分析驱动管理MYSQLCKHIVEPRESTOSPARK任务样本数据优化建议模版管理配置管理账号管理执行并发报告数据缺陷优化建议各维度详细信息健康度分数操作入口周期执行手动触发客户端驱动层数据质量分析模型数据层.报告管理数据边界数据安全数据结构数据分析数据分布数据质量分析模型-质量规则质量规则主要包括：主键问题、行重复、异常值、字段命名、备注、枚举分布、枚举格式不统一、安全问题、数据不完整等质量规则其它辅助规则：血缘关系 用户自定义数据质量分析模型-SQL

5、模板【店员排行看板】店员ID 34212，销售数据增加一倍由于店员修改过姓名，导致一个用户ID对应两个用户姓名，关联后聚合数据翻倍select count(employee_id)total_count,count(distinct employee_id)distinct_countfrom employee_tableselect count(column_name)total_count,count(distinct column_name)distinct_count from$table_name业务缺陷拓展性通用性多样性数据缺陷SQL(主键问题)抽象模板可视化执行过程（1）SQL模

6、板1SQL模板2SQL模板n字段模板分类打标用例生成测试范围SQL模板1SQL模板2SQL模板n表模板库表信息SQL用例执行过程（2）执行并发MYSQLHIVECK同步样本数据异步PRESTOSPARKSQL用例集用例执行样本落库异常机制处理分类处理落库执行过程（3）结构信息数据分析用户定义血缘关系数据分布SQL执行数据质量分析样本数据质量分析调整优化接口调用AI辅助缺陷信息优化建议缺陷关注度健康度分数缺陷提报报告发送研发处理统计分析报告输出模版配置平台搭建架构与实践平台要解