4-韩峥-蚂蚁IoT智能数据生成与算法评测技术.pdf

1、蚂蚁IoT智能数据生成与算法评测技术蚂蚁集团 韩峥2023 深圳站目录CONTENTSIoT线下支付01 智能数据生成02 分布式评测实验室03 评测链路与指标评测链路与指标04 业务效果总结05 AIGC时代思考06 2023 深圳站01IoT刷脸支付2023 深圳站蚂蚁IoT主要做什么？技术：通过生物识别（人脸、掌纹、声纹等）技术赋能支付行业，让线下支付更便捷业务：通过与广泛生态伙伴合作，助力各个行业（酒店、餐饮、快消等）商家线下数字化，实现互利共赢蜻蜓支付刷脸门禁大屏自助校园/企业团餐掌纹支付智能货柜2023 深圳站刷脸支付背后的产业链为什么会兴起刷脸支付？-随着人脸识别技术的不断成熟，

2、其精度已经可以达到商用的水准，与支付行业结合就带来了革命性的变化！驱动合资补贴互联网巨头奥比中光、华捷艾米蜻蜓、商米、青蛙盒马Rex、海信映翰通上游中游下游光源、光栅、可见光源、光栅、可见光光&红外红外结构光人脸识别模组结构光人脸识别模组POS机设备商机设备商自助收银机设备商自助收银机设备商自动售货机设备商自动售货机设备商豪威、纵慧典型企业行业类别2023 深圳站刷脸支付系统拆解硬件设备层系统层数据&算法层客户端3D结构光模组(RGB、IR、Depth)质量模型活体模型意愿模型比对模型检测模型风控数据&模型刷脸APP生物识别特征库服务端生物识别服务端2023 深圳站刷脸支付算法链路拆解设备端算

3、法链路服务端算法链路刷脸机具选脸端超体决策多模态检索 端超体/风控检测检测关键点跟踪活体检测0/4/11结果意愿模型质量模型质量意愿RGB/IR/Depth图像特征提取风控模型策略模型综合决策生物特征数据库大规模检索排序数字超体3D小库搜索0/4/11决策支付链路2023 深圳站算法质量保障的通用方法原子模型评测（单模型效果）构造评测数据、评测指标 评测链路 模型级别benchmark全链路评估（全链路效果）基于仿真回流的全链路算法评估 基于实时流量的全链路算法评估2023 深圳站刷脸算法质量保障问题 数据方面：数据生成：如何从1张图片生成海量人脸图片，并保障图片的真实性？数据标注：如何打造自

4、动化标注体系，提供海量带标注的数据？数据采集：如何进行定量化数据采集？硬件实验室：如何搭建一套分布式实验室，保障海量数据分布式执行？评测链路：评测链路如何改造，保障数据隔离以及提高工程稳定性？评测指标：指标如何设计以及反应业务效果？2023 深圳站02智能数据生成2023 深圳站多模态融合的原理多模态融合策略刷脸识别多模态融合Feature层融合策略2023 深圳站数据生成之一：基于回流数据的生成问题：由于回流到服务端的图片为压缩后的图像，因此需要进行定向增强，转为客户端输入的视频流，具体流程如下：Blob数据RGB图Depth图IR图流式数据合成回流数据URL下载解码RGB.dataDept

5、h.dataSlir.data二进制转换像素格式转换分辨率还原像素格式转换OSS云端库存储2023 深圳站数据生成之二：定量化数据采集机械臂-移动人脸模具光源箱-光照度调节人脸头模软硬一体实验室：用于进行人脸数据定量采集、人脸活体攻击、货柜数据采集等业务。2023 深圳站基于头模的定量数据采集刷脸距离刷脸角度光照强度抖动0.1 2m间隔0.3m0180间隔 5 11人脸正对屏幕为90度，左侧脸平行屏幕刷脸为0度，右侧脸平行屏幕为180度。25Lux 相当于夜间场景，1000Lux相当于晴天室外强光场景51000 Lux2参考区间20Hz 100Hz2023 深圳站活体攻击类数据采集纸张攻击数据

6、采集面具攻击数据头模攻击数据2023 深圳站新问题问题：是否能把这两个方案结合起来？2023 深圳站数据生成之三：机械臂+头模换脸的数据定向生成机械臂头模采集数据数据合成合成图像数据库(RGB、IR、Depth)深度图像生成流程：IR图像生成流程：RGB图像生成流程：DeepFaceLab换脸RGB源图像、RGB目标图像IR源图、RGB目标图像RGB2IR工具DeepFaceLab换脸工具库RGB源图3D数据生成目标脸3D模型3D模型替换IR 图像替换RGB图像生成云端回流数据选择目标数据2023 深圳站当前效果RGB换脸效果2D生成3D数据2023 深圳站数据生成之四：基于GAN生成数据问题