【熊鹏飞】内容电商下的多模态内容理解和智能生产.pdf

1、内内容容电电商商下下的的多多模模态态内内容容理理解解和和智智能能生生产产熊熊鹏鹏飞飞多媒体技术负责人虾皮MMU负责人负责多媒体内容理解和智能创作业务曾参与微信扫一扫/旷视手机拍摄/腾讯检索大模型/视频智能创作等曾在300-W/MIDDLEBURY/YTBVOS/KINECTS/TRECVID/NTIRE等夺冠 熊熊鹏鹏飞飞多多模模态态预预训训练练背背景景单单模模态态预预训训练练逐逐渐渐成成熟熟BERT/GPT，BiT/ViT已经成为Language和Vision的通用模型范式MoCo/MAE等自监督学习在单模态任务上取得显著的性能提升内内容容理理解解范范式式从从单单模模态态向向多多模模态态预预

2、训训练练转转变变从单源处理到多源处理：图像/文本/视频/场景跨模态交互应用层出不穷从一专一能到多专多能：单模态表达能力有限从专有模型到场景迁移：大模型/大数据提升模型的迁移性和泛化能力业业务务场场景景多多模模态态统统一一框框架架迁迁移移推荐：MoRec，P多多模模态态预预训训练练范范式式早早期期的的多多模模态态预预训训练练主主要要解解决决 跨跨模模态态特特征征表表达达 的的问问题题广广泛泛用用于于 跨跨模模态态检检索索，单单模模态态表表征征，z ze er ro os sh ho ot t迁迁移移 等等场场景景中中CLIP4亿图文对13亿参数双双塔塔对对比比学学习习跨模态图文匹配图像表征文本表

3、征WenLan6.5亿图文对10亿参数双塔中中英英双双语语文文本本模模型型跨模态图文匹配Zeroshort/单模态表征VQA多多模模态态对对齐齐M61.9T图像/292G文本100/千亿参数单塔MMo oE E S Sc ca al le eU Up pCaption单模态表征VQA图图像像/文文本本生生成成PPM3.7亿图文对6亿参数单单双双塔塔融融合合模模态态对对齐齐新闻-跨模态检索PCG-多模态指纹/分类视频号-文本/标签生成PCG-Zeroshot/审核视频-视频剪辑多多模模态态预预训训练练技技术术路路线线2 20 01 19 9.8 82 20 02 20 0.4 42 20 02

4、21 1.2 22 20 02 21 1.7 72 20 02 21 1.1 11 12 20 02 22 2.0 04 42 20 02 23 3.0 01 12 20 02 22 2.0 08 8单单塔塔/多多模模型型表表征征双双塔塔/跨跨模模型型表表征征模模型型结结构构/D De ec co od de er r模模型型结结构构/单单双双塔塔大大模模型型/大大数数据据大大模模型型/大大数数据据L LL LMM/生生成成通通用用框框架架/大大一一统统A AL LB BE EF FF Fl lo or re en nc ce eF Fl la ammi in ng go oF FL LA A

5、V VA AB Be ei iT T3 3L LX XMME ER RT TB BL LI IP PD DC CV VL LP PV Vi iL LT TV VL L-T T5 5S Si immV VL LMMV VL LMMO OC Co oC Ca aP PE EV VL LB BL LI IP P2 2V Vi iL LB Be er rt 0 01 1内内容容电电商商多多模模态态内内容容电电商商下下多多模模态态预预训训练练内内容容和和电电商商的的多多模模态态交交互互每每个个场场景景一一个个模模型型内内容容生生产产内内容容分分发发电电商商流流量量商商品品上上架架商商品品消消费费多多模模

6、态态表表征征多多模模态态生生成成直直播播-商商品品视视频频-商商品品商商品品-Q Qu ue er ry y商商品品-文文本本商商品品-图图像像商商品品-视视频频聚聚合合Malay traditional dress for girls in ice blue color视视频频/直直播播商商品品文文本本/Q Qu ue er ry y调性质量引流互动规范多多模模态态统统一一预预训训练练T Ta as sk k直直播播-商商品品视视频频-商商品品商商品品-q qu ue er ry y视视频频-q qu ue er ry y视视频频-聚聚合合商商品品-合合集集商商品品-属属性性视视频频-文文本