FCIS 2023-AI时代大模型安全分析-郭建新- share.pdf

1、AI时代大模型安全风险与应对思路火山引擎大模型安全产品负责人 郭建新大模型的安全挑战01业务分析02安全需求03安全方案041.1 Gartner 2024年十大科技趋势全民化的生成式AIAI信任、风险和安全管理AI增强开发智能应用增强型互联员工队伍持续威胁暴露管理机器客户可持续技术平台工程行业云平台AI信任、风险和安全管理：TRiSM -隐私数据保护 -内容异常检测 -对抗性防御 -AI应用安全 -可解释性和透明性 -模型运维（ModelOps）颁发机构政策和规范名称网信办网络信息内容生态治理规定互联网信息服务算法推荐管理规定关于加强互联网信息服务算法综合治理的指导意见互联网信息服务深度合成

2、管理规定生成式人工智能服务管理暂行办法国家标准委员会国家新-代人工智能标准体系建设指南全国信息安全标准化技术委员会生成式人工智能服务安全基本要求生成式人工智能服务内容标识要求颁发机构政策和规范名称中央办公厅关于加强科技伦理冶理的意见国家新一代人工智能治理专业委员会新一代人工智能治理原则一发展负责任的人工智能新代人工智能伦理规范全国信息安全标准化技术委员会人工智能伦理安全风险防范指引信息化标准委员会人工智能伦理治理标准化指南科技部科技伦理审查办法（试行）（征求意见稿）人民银行金融领域科技伦理指引1.2 AI安全与伦理的政策和规范1.3 大模型的挑战大模型迅猛发展，对个人隐私保护，社会伦理和系统安

3、全产生巨大挑战！构建大模型安全系统势在必行模型训练模型供应方 研发人员开发、训练形成模型 模型发布 模型供应方 构建最终模型镜像，并利用大模型平台发布模型模型精调模型使用者 结合知识库进行模型精调，形成特定业务领域的服务模型应用模型使用者 发布模型应用，并对外提供服务2.1 大模型和核心业务流程SaaS化服务大吞吐量低延时的IOPB级别的分布式存储200GB/S级别的RDMA安全可信的环境云原生平台的高效调度2.2 大模型平台开发训练模型发布模型应用模型精调代码仓库镜像仓库训练数据基础模型精调模型知识库2.3 大模型核心系统流程核心业务数据平台系统自身2.4 大模型重点保护对象1、备案要求 第

4、十七条:并按照互联网信息服务算法推荐管理规定履行算法备案和变更、注销备案手续2、数据要求 第七条：合法来源的数据、知识产权保护、个人信息保护、真实性、准确性、客观性、多样性 第十一条：提供者对使用者的输入信息和使用记录应当依法履行保护义务，不得收集非必要个人信息，不得非法留存 能够识别使用者身份的输入信息和使用记录3、模型要求 第七条：使用合法来源的基础模型3.1 生成式人工智能服务管理暂行办法1.语料黑名单、内容过滤2.来源可追溯3.语料知识产权管理和投诉渠道4.生物信息语料要获得授权或满足合法条件5.语料标注需要审核员检查语料安全1.必须使用已备案模型2.训练过程中内容安全是强要求3.每次

5、对话中要对用户输入做安全检查，发现问题要针对性迭代到模型训练中4.服务透明性，写明适用用途、所用模型、局限性模型安全3.2 生成式人工智能服务安全基本要求3.2 生成式人工智能服务安全基本要求1.服务于关基的，应具备相适应的保护措施2.未成年人保护3.要求对个人信息进行保护4.图片视频要做标识安全措施1.重大变更要做安全评估，并向监管备案2.评估结果法人、安全负责人要签字3.语料安全评估以抽检的形式做4.生成内容评估以测试题形式做5.要有关键词库（黑名单）安全评估 LLM01:提示注入业务 LLM06:敏感信息泄露系统 LLM02:不安全的输出处理业务 LLM07:不安全的插件设计系统 LLM

6、03:训练数据投毒业务 LLM08:过度代理业务 LLM04:模型拒绝服务系统 LLM09:过度依赖业务 LLM05:供应链漏洞系统 LLM010:模型盗窃系统3.3 OWASP 大模型 TOP10 平台方供应方使用者 供应方：担心模型和数据被偷 使用者：担心业务数据安全 平台方：自证清白、系统安全推理业务合规供应方使用者平台方系统被攻击监控与保密推理结果合规模型被投毒模型被窃取训练数据被窃取推理结果内容合规上传材料合法性问题知识库被盗取API 安全账号认证与审计不全3.4 大模型的参与方的痛点大模型涉及的伦理和法律风险个人数据隐私保护涉黄、涉恐和涉政主