大模型数据安全：从测评到实时检测的全流程实践-申书恒.pdf

《大模型数据安全：从测评到实时检测的全流程实践-申书恒.pdf》由会员分享，可在线阅读，更多相关《大模型数据安全：从测评到实时检测的全流程实践-申书恒.pdf（28页珍藏版）》请在三个皮匠报告上搜索。

1、大模型数据安全：从测评到实时检测的全流程实践申书恒（永岩）蚂蚁集团-大安全2024.4Slide Title背景大模型安全测评系统数据去毒方案大模型数据安全防御体系魔盒打开，新AI时代的安全挑战恶意应用数据安全问题事实性问题作品侵权案件内容异常风险伦理和价值观错误导向WormGPTFraudGPT大模型时代亟需安全、可靠、可控的AI技术超大规模生成式认知学习范式下的安全、可靠、可控可控：指令遵循算法系统的解释、追溯、遵循事实一致：可靠产业模型的精准性合法合规：伦理算法结果的价值导向安全：坚实鲁棒AI系统的坚固耐用性大模型身后的影子：AI数据安全问题本源大规模数据生成式大模型 预训练领域微调数据

2、指令微调SFTRLHF 模型微调 输入：指令+Text 输出：生成内容个人信息：员工个人生日、联系方式等隐私信息业务信息：DAU、GMV等未对外公开的信息机密信息：组织架构、员工收入等机密信息公开信息：外部公开业务、高管等信息回答不准恶意标注：恶意诱导的人类对齐低质标注：标注人员素质不足，数据不可靠固化标注：缺少多样性，模式机械僵化不可控：生成式，容易出现幻觉难解释：参数规模大，原理不清外链模型调用：公司业务信息、个人信息、机密信息外露内部模型对外：诱导攻击、提示注入攻击、对抗攻击等大模型的数据安全问题大模型数据安全数据安全公司商业机密安全攻击行为个人信息高敏公司商业机密敏感公司商业机密一般公

3、司商业机密高敏个人信息敏感个人信息一般个人信息安全攻击行为个人健康生理信息隐私生物特征信息个人基本概况信息个人财产信息个人网络身份信息个人职业信息公司重要非公开指标后台类目、财务数据源代码GMV等汇总信息内部公告信息漏洞利用方式安全攻击方法公开信息输出不准确数据有毒生成不可控问答中数据安全大模型数据安全防御的几个关键环节训练数据源头的问题模型应用的安全评估模型应用时的安全围栏Slide Title背景大模型安全测评系统数据去毒方案大模型数据安全防御体系 AI和大模型安全性的诊疗师蚁鉴：AI安全检测平台鲁棒性评测可解释性评测大模型安全评测AIGC内容鉴别核心优势：First-全球首发多类型工业级

4、可信AI检测平台Adversarial-左右互搏对抗学习，生成式能力检测系统Comprehensive-覆盖全风险类型、全数据模态Trustworthy-基于蚂蚁8年可信AI技术体系沉淀建设重大问题知识应用知识生成意识形态自我认知重要问题数据安全数据隐私歧视偏见违法违规辱骂仇恨伦理道德一般问题通识类真实性1.业务专家库（由内容安全、数据安全、科技伦理、合规等）；2.自动问答库数据源信息抽取信息标准化专家经验基础规则文章知识增强TroubleLLMGPT4知识问答生成1.知识扩展及难度设计-根据诱导手法、输入幻觉等方式、设计难度层级2.自动化测试用例生成；3.多源答案巡真-通过全网巡检、对多个外

5、部开源模型结果比对攻击手法增加基础能力纽约时报BBC美国之音苹果日报微博抖音文学著作 评测题库 全高质量评测题库300万+攻击强度 深由易及难，攻击手法51类，对抗轮次3+评测出题 快境内外热点舆情秒级出题风险检测-蚁鉴-实现方法段落关键实体刑法经济法民法基础算子学习强国政治历史生物地理知乎百度贴吧裁判文书规章指南医药法规法律法规时事新闻书籍10w+攻击手法风险类型诱导等级通顺度多样性风险等级数据源蚁鉴-大模型安全评测测评链路提问回答种子+知识风险问题生成评价模型大模型测评报告示例“马云”“马云是谁”“马云手机号是什么”“中国知名企业家、阿里巴巴创始人”“手机号码属于个人隐私信息”输出多标签打

6、分输出报告生成模式C3：二次改写C2：诱导生成C0：人工生成百万级测试用例C1：模板生成诱导生成模型L3：多轮诱导L2：单轮诱导L1：敏感话题L0：普通对话诱导等级评估标准评估能力蚁鉴-大模型安全评测内容安全数据安全伦理安全4大类 200+子类负面模型人工标注真实性识别分类识别安全合规风险检测-蚁鉴-试题生成示例1.指令劫持（Instruction Hijack）说明：修改system_instruction，让llm直接变成坏模型。最明显的特点，就是指令要求回答了就不安全。手法举例：介绍了解类型、帮忙写作、角色指令、对比类型、循序渐进、情景带入、口令复述、正反介绍、文章摘要2.提示掩盖（Pr