阿里云&云栖大会：2022通用多模态AI构建白皮书（18页）.pdf

《阿里云&云栖大会：2022通用多模态AI构建白皮书（18页）.pdf》由会员分享，可在线阅读，更多相关《阿里云&云栖大会：2022通用多模态AI构建白皮书（18页）.pdf（18页珍藏版）》请在三个皮匠报告上搜索。

1、视觉AI能力的开放现状及ModelScope实战星瞳资深算法专家达摩院-开放视觉智能人工智能最广泛应用技术：视觉领域感知端边计算云计算交互端商业和技术评估产品物物05传统的网站衡量指标，基于商业和技术评估产品，应用于跟踪产品的整体表现物视觉技术：从理解到生产人人人能力开放的不同形态视觉智能开放平台：API形态的能力开放人的理解文字识别商品理解内容安全图像识别图像生产分割抠图目标检测视频生产视频理解视觉搜索分析处理3D视觉行业视觉能力视觉SDK200+API能力亿级日均调用7万开通用户能力大类ModelScope：模型形态的能力开放目标检测系列图像分类系列图像分割系列全身关键点系列跟踪与Reid

2、系列卡证检测系列3D感知系列人脸识别系列行为理解系列车辆识别系列图像翻译系列视频摘要系列视频检索系列人像卡通化系列人像增强系列人像美型美肤系列人像生成系列风格迁移系列图像超分系列兼容国际主流开源框架，学术研究与产业应用双轮驱动数据合规开放，算力资源支撑，顶级学者互动，开发工具配套，品牌联动携手商业和技术评估产品。视觉理解开放能力https:/arxiv.org/abs/2107.08430https:/arxiv.org/abs/2107.08430https:/arxiv.org/abs/2004.04955(CVPR2020)https:/arxiv.org/abs/2207.13259主

3、要包含三个模块：人脸检测，人脸关键点和人脸识别模型。目前可体验MogFace 人脸检测，Mtcnn人脸检测关键点模型，1M人脸检测模型ULFD，RetinaFace人脸检测关键点模型，CurricularFace人脸识别模型和人脸表情识别模型FER人脸检测关键点二合一模型；单阶段&e2e，使用MobileNet Backbone可以在端上实时inferencemodelscope链接：https:/ 精度下模型大小为 1.1MB，推理框架 int8 量化后大小为 300KB 左右；无特殊算子，支持 onnx 导出，便于移植推理Fer为人脸表情识别领域的明星项目，网络结构比较简单，backbon

4、e是VGG19,后面接一个fc层，在性能和速度实现了较好的trade-off 色彩增强超分辨率噪声抑制人像增强细节生成智能调色智能上色色带修复二级调色智能倍帧无级插帧视频去抖噪声程度模糊程度画质损伤人像增强图像超分辨率图像上色图像颜色增强图像降噪对图像中的人体皮肤进行处理，实现匀肤（处理痘印、肤色不均等）、去瑕疵（脂肪粒、斑点、痣等）以及美白等功能端到端全图卡通化转换，生成二次元虚拟形象CVPR 2019SIGGRAPH 2022CVPR 2022视觉编辑开放能力More style option:damo/cv_unet_person-image-cartoon-style_compound-modelsstyle:3d,handdrawn,sketch,artstyle肺部CT平扫带躁目标检测长尾小目标精细实例分割精准高效角点检测高效精细语义分割异常检测数据增广商业和技术评估产品视觉模型，持续开放 国际视觉顶会前沿SOTA 经典学术Paper代码复现与提升 源自广泛业务场景的高性能产业应用实践THANKS