3-4 多模态预训练模型的轻量适配技术探索.pdf

1、多模态预训练大模型的适配技术探索冷海涛 达摩院 高级算法工程师|01多模态大模型现状与应用挑战02多模态大模型的语言适配03多模态大模型的领域适配04多模态大模型的优化目标适配目录CONTENT|01多模态大模型现状与应用挑战|多模态大模型现状与应用挑战|大模型由单模态到多模态的发展:文本多模态多模态大模型现状与应用挑战|前沿开源大模型在工业应用中的三个挑战:开源大模型与应用任务的语言不匹配，无法直接应用开源大模型与应用任务领域契合度低，难以带来明显效果开源大模型的优化目标与应用任务有差异，需要较多标注数据中文理解电商理解 how关于火星表面的火星探测器的新闻报道百变妆容多模态大模型现状与应用

2、挑战|核心探索命题：开源多模态大模型的适配技术大模型的语言适配技术，解决大模型与应用场景语言不一致问题大模型的领域适配技术，解决大模型与应用场景领域契合度低的问题大模型的优化目标适配技术，解决大模型的优化目标与应用任务有差异的问题适配技术中文理解电商理解 02多模态大模型的语言适配|02多模态大模型的语言适配|多模态大模型的语言适配|当前多模态大模型在非英文场景的解决方案:多语言多模态大模型基于目标语言的多模态数据进行大模型训练多语言多模态大模型M3PWukong:A 100 Million Large-scale Chinese Cross-modal Pre-training Benchm

3、arkM3P:Learning Universal Representations via Multitask Multilingual Multimodal Pre-training基于大规模中文语料Wukong的多模态大模型局限性：训练成本高，难以持续follow学界大模型进展多模态大模型的领域适配|基于适配机制的中文多模态大模型获取方案大规模训练策略轻量适配策略英文大模型盯着食物的小猫Kitten staring at food+文本翻译对多模态大模型的语言适配|基于adapter机制的语言适配:只需面向文本端适配,避免视觉侧的额外训练通过adapter机制避免少量数据下的训练不充分同时

4、提高训练效率Parameter-Efficient Transfer Learning for NLP精度损失验证实验coco-cn text2img zero-shot实验03多模态大模型的领域适配|多模态大模型的领域适配|FashionBERT:Text and Image Matching with Adaptive Loss for Cross-modal Retrieval当前多模态大模型在特定领域的解决方案 基于特定领域大规模数据训练大模型FashionBERTKaleido-BERTKaleido-BERT:Vision-Language Pre-training on Fash

5、ion Domain局限性：数据收集成本高，训练成本高多模态大模型的领域适配|基于适配机制的领域多模态大模型获取方案大规模训练策略轻量适配策略Middle aged and elderly womens clothing+通用大模型少量领域数据pair多模态大模型的领域适配|基于hard sampling的adapter的领域适配:采用adapter机制避免灾难遗忘使用instance weight增加对领域hard sampling的关注，保证领域知识学习的充分性04多模态大模型的优化目标适配|多模态大模型的优化目标适配|Prompt在NLP领域的应用:通过下游任务与大模型的适配，在NLP小

6、样本任务上效果显著离散模版prompt连续可学习promptMaking Pre-trained Language Models Better Few-shot LearnersPrefix-Tuning:Optimizing Continuous Prompts for Generation多模态大模型的优化目标适配|当前多模态大模型在特定领域的方案文本侧模版prompt文本侧连续可学习prompt局限性：仅面向通用信息以及类别信息进行了大模型激活，没有对instance信