1-刘梦怡.pdf

《1-刘梦怡.pdf》由会员分享，可在线阅读，更多相关《1-刘梦怡.pdf（33页珍藏版）》请在三个皮匠报告上搜索。

1、演讲人：刘梦怡01020304内容安全业务背景与挑战大模型时代的变革与机遇快手安全大模型核心技术未来技术与业务大图展望01风险对抗强变异快风险对抗强变异快审核标准复杂多变审核标准复杂多变领域专家知识依赖领域专家知识依赖0102030402通用大模型垂直大模型03Multi-Head AttentionMLP LayerNorm LayerMulti-Scale Encoder Layer Linear Projection of Flattened PatchesTransformer EncoderImage/Video Encoder(CLIP ViT-L/336px)Vision-Lan

2、guage Connector(Linear/MLP)Large Language Model(Decoder-only Transformer)Embedding LayerTokenizerTask-2：思维链：思维链(Chain-of-Thought)请描述这张图片中出现的人物、场景、动作等；判断是否有*类型的风险，并说明具体理由和过程并说明具体理由和过程t1t2t3t4t5tnTask-3：上下文学习：上下文学习(In-Context-Learning)关于关于*类型违规的规则条款如下：类型违规的规则条款如下：*；已知视频标题*请结合以上规则及视频画面、标题等内容信息；判断是否有*类型

3、的风险，并说明具体理由和过程Task-1：指令遵循：指令遵循(Instruction following)请描述这张图片中出现的人物、场景、动作等；忽略画面忽略画面上字幕等场景文字，要求简短叙述上字幕等场景文字，要求简短叙述30-50字以内字以内010203视觉基座CLIP-ViT框架，多模态基座以MLP为连接器，且冻结LLM全部参数；构造200M开源+40M业务高质量图文数据进行预训练该训练阶段下冻结视觉编码器部分参数，仅对视觉-文本连接器以及LLM部分参数层进行微调，总数据量级约 2M（开源:业务=4:1）该训练阶段主要针对模型的推理过程的逻辑合理性和上下文一致性进行修正，基于人工偏序关系

4、的标注进行优化010203视觉基座CLIP-ViT框架，多模态基座以MLP为连接器，且冻结LLM全部参数；构造200M开源+40M业务高质量图文数据进行预训练该训练阶段下冻结视觉编码器部分参数，仅对视觉-文本连接器以及LLM部分参数层进行微调，总数据量级约 2M（开源:业务=4:1）该训练阶段主要针对模型的推理过程的逻辑合理性和上下文一致性进行修正，基于人工偏序关系的标注进行优化010203视觉基座CLIP-ViT框架，多模态基座以MLP为连接器，且冻结LLM全部参数；构造200M开源+40M业务高质量图文数据进行预训练该训练阶段下冻结视觉编码器部分参数，仅对视觉-文本连接器以及LLM部分参数

5、层进行微调，总数据量级约 2M（开源:业务=4:1）该训练阶段主要针对模型的推理过程的逻辑合理性和上下文一致性进行修正，基于人工偏序关系的标注进行优化010203视觉基座CLIP-ViT框架，多模态基座以MLP为连接器，且冻结LLM全部参数；构造200M开源+40M业务高质量图文数据进行预训练该训练阶段下冻结视觉编码器部分参数，仅对视觉-文本连接器以及LLM部分参数层进行微调，总数据量级约 2M（开源:业务=4:1）该训练阶段主要针对模型的推理过程的逻辑合理性和上下文一致性进行修正，基于人工偏序关系的标注进行优化TasksRaw dataRaw dataLLMPromptLLMPromptLL

6、MIn-contextTuningSLMIn-contextLearning KDRationalesSLMSLMInstructions12303010203基于视觉/多模态大模型对内容进行自动化标注，获取基础图像与文本标签基于大模型的语义分析能力生成结构化标签树并对数据标签进行清洗与确认对大模型自动生成标签体系进行人工校验，并与审核规则条款进行映射phrase1phrase2phrase3Alignment EncoderCross Attention Layer 1Feed-Forward Layer 1Cr