2019年AI产品的全局质量与工程效率构建之路.pdf

《2019年AI产品的全局质量与工程效率构建之路.pdf》由会员分享，可在线阅读，更多相关《2019年AI产品的全局质量与工程效率构建之路.pdf（23页珍藏版）》请在三个皮匠报告上搜索。

1、中国软件技术大会 CHINA SOFTWARE TECHNOLOGY CONFERENCE AI产品的全局质量与工程效率生态构建之路 AI产品的全局质量与工程效率生态构建之路 好未来AI工程院质量与工程效率负责人 好未来AI工程院质量与工程效率负责人 分享议程分享议程 项目架构概览 全局质量生态体系 代码质量建设 数据质量建设 模型质量建设 自动化测试的T+0实践 稳定性测试常态化实践 自动探压测试实践 集群并行化测试自动化实践 线上质量建设 运营数据分析 工程效率赋能工具链体系建设 项目架构概览项目架构概览 数据平台 训练平台 标注平台 数据回流 AI模型 图像 语音 NLP 工程化&模型加

2、速和优化 AI能力 语音评测 OCR 举手识别 红线词检测 流利度检测 PaaS平台 鉴权 负载均衡 弹性伸缩 熔断 流量监控 AI业务 AI课堂 拍照解题 智能讲题 智能监课 机器翻译 全局质量全局质量生态生态体系体系 代码代码质量质量 数据数据质量质量 模型模型质量质量 产品产品质量质量 线上线上质量质量 运营运营分析分析 代码质量代码质量 静态代码扫描与通知静态代码扫描与通知 通过设置git web hook来实现提交代码即触发静态扫描 开发MNS消息通知系统，当扫描结束时，会抽取扫描主要信息并发送至及时消息通知群 代码质量阈值：漏洞：0 Bug：0 复杂度：20 代码质量代码质量 缺陷

3、密度统计看板缺陷密度统计看板 统计代码改动行数与bug数量*权重，绘出缺陷密度趋势图 统计每个版本代码改动行数 统计每个版本缺陷个数 计算出每千行代码的缺陷个数缺陷密度 构建质量与趋势统计看板构建质量与趋势统计看板 统计日构建次数与失败状态，绘出构建质量趋势图 测试代码覆盖率统计分析测试代码覆盖率统计分析 通过jacoco,python coverage等工具对代码覆盖率进行统计分析 C+:OpenCppCoverage Java:Jacoco 数据质量数据质量-算法数据预处理算法数据预处理 数据回流 转码切分 FFmpeg 去高相似度 汉明距离算法 去模糊 SMD2算法 去低相关性 CTPN

4、算法 自动旋转正位 Inception V4 上传FTP/Nexus 有价值数据参数化选择 数据送标 原始图片：原始图片：干净图片：干净图片：脏图片：脏图片：AIAI算法模型质量算法模型质量 模型模型指标测试自动化指标测试自动化 对算法模型进行精确度、准确度、召回率等指标的测试，并通过matplotlib绘图和生成表格，显示在Jenkins页面上 AIAI算法模型质量算法模型质量 算法稳定性测试自动化算法稳定性测试自动化 产品质量产品质量APIAPI测试自动化测试自动化 API回归测试结果反馈周期从2 2天天降低至降低至180180秒秒 产品质量产品质量 自动化测试的自动化测试的T+0T+0实

5、践实践 1.编写API用例设计文档 2.基于文档秒级生成接口自动化用例 3.自动化流水线一键生成 产品质量产品质量 稳定性测试常态化实践稳定性测试常态化实践 开发稳定性测试状态展示平台 通过Jenkins每10分钟触发一次稳定性测试用例集 产品质量产品质量 性能测试自动化探压工具性能测试自动化探压工具 根据每次负载测试的输出（error rate），动态调整升压或降压节奏，实现无人值守的负载探压测试自动化 产品质量产品质量 集群并行化测试自动化实践集群并行化测试自动化实践 线上质量线上质量 多维度告警与监控体系多维度告警与监控体系 Zabbix+Grafana实现非容器化主机监控告警 ELK+Grafana实现非容器化服务与日志监控告警 Prometheus+Grafana实现容器化主机与pod服务监控告警 线上质量线上质量 运营数据分析运营数据分析 工程效率赋能工具链体系建设工程效率赋能工具链体系建设 构建与测试节点环境容器化构建与测试节点环境容器化 未来工作展望未来工作展望 用AI来测试AI AITest 压测平台与瓶颈智能定位 AIOps 全方位预警、事故定位与流量预测系统AIOps 深入测试即服务建设 TaaS