A2--李欢欢--AI算法数据管理&评测集成化平台.pdf

《A2--李欢欢--AI算法数据管理&评测集成化平台.pdf》由会员分享，可在线阅读，更多相关《A2--李欢欢--AI算法数据管理&评测集成化平台.pdf（34页珍藏版）》请在三个皮匠报告上搜索。

1、AI算法数据管理和评测集成化平台李欢欢OPPO李欢欢测试开发工程师8年平台开发经验，负责领域系统和平台的设计、开发，业务领域效能工具建设/模型搭建，负责AI算法测试平台建设和落地。目录CONTENTS01平台框架02关键能力03优化方向01平台框架1.1 AI手机特征 1.1 算法测试类型视觉类自然语言自然语言语音类语音类大模型大模型多模态1.2 算法测试的痛点数据管理 数据孤岛、重复建设、安全隐私数据标注 效能低、培训难、质检难主观执行 可获得性差、参与方式差、质量监控难质量评估 真实性、多样性、开放性数据分析 badcase泛化不足、分析难、可视化效果差客观执行 工具冗余、技能建设重复1.

2、3 业务流程数据平台前端入口数据集制作选择被测算法算法服务客观评测主观评测客观结果数据汇集主观结果数据汇集DBTable_nTable_1性能测试真机压测数据分析/呈现配置管理插件|资源|指令数据收集数据管理上传原始数据公有|私有原子能力集属性读取基本属性特征向量粗筛数据集分层逻辑数据清洗GT数据数据标注测试集功耗测试自有/竞品APK|SDK|云端API版本间对比主客观一致性评估算法指标评估性能报告压测报告历史数据沉淀badcase分析数据/报表下载智能分析数据可视化功耗报告埋点数据分析与竞品对比执行效能使用量统计1.4 系统架构部署运维CI/CD资源统计服务监控负载均衡运营管理多租户多角色权

3、限管控用户管理HiveSparkFlinkXkubernetes状态监控日志收集资源分配基础设施用户交互运维后台监控后台管理后台网站手机ElasticsearchMySQLRedis用户招募主观评测进度跟踪过程监控质量校验插件化服务自动化脚本真机测试执行容器化软件监控硬件监控配置中心模型图像/视频识别语音识别NLP语音合成OCR业务应用结果可视化badcase分析埋点分析效能统计分析数据质检过程监督功耗分析数据鉴权数据安全数据检索数据标注数据清洗数据数据集成数据处理02关键能力2.1 数据管理痛点数据孤岛存储分散、共享性差安全性差本地存储、未鉴权查找困难无可视化、无特征隐私合规无密级、无周期管

4、理2.1 数据管理解决方案公有|私有使用范围权限管控生命周期管理授权保密图片视频音频文本项目授权数据集去重特征检索标签美学分数相似特征向量分辨率来源基本|向量属性大小管理范围管理方式属性管理数据检索数据集2.1 数据管理案例2.2 数据质量评估开放性是否考虑？真实性是否符合？多样性是否足够？2.2 数据质量评估流程训练集测试集用户特征 子标签 采样设置 随机采样特征分析聚类配置数据分布图矢量化分布图聚类可视化对比图统计分析2.2 数据质量评估工具2.3 数据标注痛点培训难任务复杂、主观偏差质检难工具不完善、抽样不合理效能低工具不合适、技能不足2.3 数据标注案例2.3 数据标注案例输出主体个数

5、1输出主体个数2输出主体个数all语义输入：站着的人2.3 数据标注案例语义输入：打开的书2.3 数据标注价值标注方式自动标注工具传统人工标注速度平均0.2秒/张平均20秒/张单日标注时长24小时8小时单日标注量20W+/进程800-1000张/人属性特点可多进程并行加速/单轮次正确率95%+95%+边缘贴合度精准一般标注效率100+倍以上数据均来自OPPO实验室，解释权归OPPO所有。精确率 显著提升2.4 主观评测痛点痛点可获得性差用户画像、用户招募质量监控差无监控、可靠性参与方式差对比环境一致性2.4 主观评测解决方案评测数据机检埋点数据分析人工复检单题/总耗时行为记录统计可视化个人数据

6、统计标注数据校验重复资源配置标注顺序随机标准资源配置人工筛选图片视频音频文本评测资源维度 排序 多选一评测方式 任务创建 任务管理 发布审核 生成对内/外二维码或链接评测任务机器人 邮件密发 进度跟踪 用户通知2.4 主观评测实践AIGC消除2.4 主观评测分析以上数据均来自OPPO实验室，解释权归OPPO所有。2.4 主观评测分析以上数据均来自OPPO实验室，解释权归OPPO所有。2.4 主观评测实践AIGC消除AIGC消除一圈消除、自然生成2.5 客观测试流程任务发起配置