内容安全中的多模态模型训练实践-陈德健.pdf

1、内容安全中的多模态模型训练实践陈德健AI算法架构师BIGO/Aestron安思创毕业于北京大学计算机系曾就职于网易，参与商业智能、广告算法的研究与落地2018年加入BIGO，主要从事AI技术的研究与应用。目前主要负责各产品线的内容安全、内容理解、AI ToB等技术方向About Me多模态研究技术驱动力图像语音文字用户行为Sobel/SIFTCNNViTGMM-HMMCTCAttentionword2vecBert/GPTpromptLR/FM/GBDTDNNMMoEToBToC多模态研究业务驱动力短视频直播IM、语音房语音交友企业服务品牌(包括AI等技术)Aestron(安思创)内容安全场景

2、BIGO企业服务品牌，基于技术创新，打造开放平台，构筑合作共赢新生态。凭借BIGO多年的出海技术沉淀及经验积累，为企业客户提供行业领先的全球互联网技术服务。Aestron以赋能企业出海为使命，目前已推出AI内容智能鉴审、国际短信等业务产品，服务覆盖全球。图像审核视频审核文本审核音频审核AI内容智能鉴审色情识别政治敏感人物识别不文明行为识别暴恐识别违规识别多种场景类型审核：覆盖色情、暴恐、血腥、涉政、未成年等多类型画面内容。内容安全挑战全球化、面向企业客户地域性全球风俗文化、审核标准各有不同多样性不同的行业客户所关心的标签细类不一时效性需快速解决客户问题，以保障内容安全Aestron内容安全个性

3、定制案例一般香烟（模型主要能力）水烟（客户实际场景）背景：视频内容审核 某东南亚产品的客户客户需求：-重点类别：色情、暴恐等，召回率95%-一般类别：武器、香烟、涉政等，召回率80%-对比指标：不同厂商的推送比（越低越好，节省审核人力）技术挑战：-地域性：例如 香烟 vs.水烟-时效性：越快越好一般优化流程：数据收集 数据清洗 模型训练 部署周期长，成本高视觉-语言模型图像文字视觉：信息量最丰富语言：人类思维符号化典型工作：CLIP(Contrastive LanguageImage Pre-training)OpenAI-语义关联与统一：图片、文字 编码到统一的向量空间中-海量训练数据量：互

4、联网公开数据，4亿个 对-泛化能力强：文-图检索，实现 zero-shot learning图片来源:https:/ towards 审核场景审核场景大量的业务数据积累审核数据分布流形集中可以引导客户获取信息：-少量违规图例（Image）-违规类别名称、描述（Text）CLIP预训模型互联网公开数据，违规数据可能经过平台过滤Zero-shotQ1:如何通过大量的业务标注数据，去优化审核场景？Q2:如何充分利用客户提供的图文信息？整体优化流程两阶段优化：通用场景多模态模型审核场景多模态模型客户场景多模态模型阶段一审核场景优化阶段二客户场景定制化海量的业务审核标注数据客户特定场景（少量的图例及规则

5、描述）(Domain Adaption)(Few-shot learning)GeneralModificationCustomRetention TaskDomain Task阶段一：审核场景优化（Domain Adaption）CLIPImage Encoder(fixed)ModificationImage Encoder(trainable)L2 lossMLPImageClass LabelSoftmax Cross Entropy目标：训练出符合审核场景的Image Encoder要点：1.Image Encoder-与CLIP输出的特征计算L2，保证泛化能力-两者结构不一定相同，

6、只要保证输出特征维度2.Text Encoder-本阶段固定参数，与CLIP预训参数一致3.Domain Task-与图像分类计算CE，拟合审核场景Retention TaskCLIPImage Encoder(fixed)ModificationImage Encoder(trainable)FCsDomainSpecific?GeneratorDiscriminator阶段一：审核场景优化（Domain Adaption）训练方法的变体：1.Retention Task-采用对抗训练的方式-Generator:使特征分布与CLIP一致-Discrim