王刚-大模型时代的工业质检方法论.pdf

1、大模型时代的工业质检方法论腾讯云工业质检产品负责人 王刚 2024.06初心：腾讯优图的AI积累，如何在工业视觉场景产生价值？15+行业解决方案90+腾讯明星产品业务线接入1000+全球专利30亿+次/天 日均服务调用量专注人脸人体、工业AI、图像识别、OCR等视觉AI领域的前沿研究和落地应用2014年11月2020年12月2015年4月2017年3月2017年3月2017年4月2017年8月2018年4月2018年10月2019年9月2020年5月2021年1月上海市科技进步二等奖开源移动端推理框架TNN时序动作分析DBG算法在ActivityNet上获得世界第一在国际权威人脸检测数据集Wi

2、der Face、FDDB上取得世界第一在国际权威人体检测跟踪榜单MOT15、MOT17上获得世界第一在国际权威目标检测评测集MOT17Det刷新世界纪录 在超大规模人脸识别数据集MegaFace中，在百万级别人脸识别测试中刷新世界纪录在国际人脸识别数据集LFW上刷新世界纪录刷新ICDAR 2015Robust Reading Competition Focused SceneText 文本检测纪录在国际物体分类挑战赛Pascal VOC上刷新世界纪录300+论文在全球最大通用目标检测数据集Objects365上获得世界第一在国际标准语义分割数据集ADE20K、Pascal Context刷新

3、世界纪录2021年10月ICCV 2021 Workshop LVIS实例分割挑战赛第一2021年5月上海市科技进步特等奖实践：在复杂缺陷外观检领域持续深耕、夯实落地l 落地场景：广泛覆盖多行业、多场景外观质检，自研计算光学技术，满足高精度和多机型需求l 方案特点：整合了光、机、电、软、算的交钥匙方案，且质检数据可与MES等系统打通建立工业大数据光伏3C汽车锂电轴承、刹车片等汽车零部件、汽车玻璃外观缺陷检测半导体晶圆、芯片封装、PCB等半导体元器件缺陷检测光伏组件外观缺陷检测动力电池外观、密封钉、极耳翻折等锂电池外观缺陷检测手机、平板电脑、笔记本电脑、手表等产品的金属部件及核心模组外观瑕疵检测

4、品质保障是否良品综合判定缺陷位置确认检测能力Detection缺陷像素确认分割能力Segmentation缺陷类型确认分类能力Classification生产工艺改良缺陷量化确认量化能力QuantitationAI技术的优势：标准恒定，提质提效降本对缺陷进行位置、像素、类型、量化，决定是否为良品，从而达到品质保障，反哺生产工艺改良。出货端生产端工业AI 质检核心目标场景多零件：结构及材质复杂，拍摄面上千，反光问题，多种光源相机组合缺陷：种类繁多、缺陷微小、形态变化随机-外观型测量型有无型等-脏污干扰严重，标准不清晰，存在模糊态要求：-过杀率-漏检率：0%漏检l检测能力：能不能 l使用效率：快不

5、快数据效率：-数据需求大，收集交付时间长-部分缺陷占比低收集难，长尾效应明显模型训练效率：-单次训练时间长、训练占用资源大-整个交付周期要多次训练模型推理效率：单图推理慢，推理机消耗大迁移换型效率：新产品型号、新场景非专业人员使用效率两个关键问题优图工业AI算法体系概览 基于视觉AI算法为工业制造提质、降本、增效1个目标4大技术模块3类应用场景 3C 锂电池 金属包装 成像算法 基础视觉算法 高效视觉学习 通用视觉模模型高效视觉学习方法通用视觉模型成像算法基础视觉算法1多图融合图像对齐光度立体图像质量评价图像分类目标检测语义分割实例分割2自监督/半监督/弱监督小样本学习域迁移带噪学习缺陷生成大

6、模型能力模型微调/增量学习轻量化34“检测能力”“使用效率”工业成像技术模块目的缺陷成像更明显成像位置更一致多图融合图像对齐光度立体图像质量评价图像分类目标检测语义分割实例分割缺陷检测更准确罕见缺陷不漏检自监督/半监督/无监督小样本学习域迁移带噪学习降低数据(标注/采集)成本提升模型鲁棒性和迭代效率基础算法高效部署数据基础模型增效通用数据生成多模态大模型微调应用轻量化视觉语言通用大模型大模型微调轻量部署通用模型数据基础算法能力全监督模型少/无监督模型多模态通用模型发展趋势少量数据下模型高效迁移迭代海量数据驱动下的无数据应用（大数据）（少数据）（无数据）在工业AI质检领域践行“Scaling L