分论坛二05韩放-AI合规与治理实践之标准解读.pdf

《分论坛二05韩放-AI合规与治理实践之标准解读.pdf》由会员分享，可在线阅读，更多相关《分论坛二05韩放-AI合规与治理实践之标准解读.pdf（30页珍藏版）》请在三个皮匠报告上搜索。

1、AI 合规与治理实践-ISO/IEC 42001Han,Fiona FangDNV 04 FEBRUARY 2024大语言模型10大风险2025：2风险编号名称简要说明LLM01提示注入用户构造特殊提示词，操控模型行为LLM02敏感信息泄露通过输出暴露敏感数据、专有算法或机密细节LLM03供应链问题供应链受到各种漏洞的影响，可能导致输出偏差、安全漏洞或系统故障。LLM04数据和模型投毒 恶意修改训练样本，操控模型输出LLM05不当的输出处理 模型输出未经校验直接执行或发布LLM06过度代理模型 产生意外、模糊或被操纵的输出时执行有害操作LLM07系统提示泄露系统提示或用于引导模型行为的指令可能

2、包含未打算被发现的敏感信息LLM08向量和嵌入的弱点生成、存储或检索向量和嵌入的方式中的弱点可能会被恶意行为（故意或无意）利用，以注入有害内容、操控模型输出或访问敏感信息。LLM09误导信息模型生成看似可信的虚假或误导性的信息LLM10无限制消耗扰乱服务、耗尽目标的财务资源，甚至通过克隆模型行为窃取知识产权DNV 04 FEBRUARY 2024ISO/IEC 23894 人工智能-风险管理指南3 A.1 问责制 A.2 人工智能专业知识 A.3 训练和测试数据的可用性和质量 A.4 对环境造成的影响 A.5 公平 A.6 可维护性 A.7 隐私 A.8 鲁棒性 A.9 safety 安全 A

3、.10 Security 信息安全 A.11 透明度和可解释性目标目标风险来源风险来源 B.1 环境的复杂性 B.2 缺乏透明度和可解释性 B.3 自动化程度 B.4 与机器学习相关的风险源 B.5 系统硬件问题 B.6 系统生命周期问题 B.7 技术准备情况DNV 04 FEBRUARY 2024ISO/IEC 23894：贯穿始终的管理机制:概念设计开发验证确认部署运行监控持续验证重新评估退役6通过在AI系统生命周期的各个阶段实施有效的风险管理措施，可以最大程度地降低风险，确保AI系统的安全、可靠和合规运行。治理架构:建立有效的风险治理架构，明确各方的职责和权限。工具体系:使用风险管理工具

4、，例如风险登记册、风险评估矩阵等，提高风险管理的效率和效果。能力建设:培养风险管理人才，提高组织的风险管理能力。DNV 04 FEBRUARY 2024风险管理也是合规要求2024年8月2日，欧盟首个关于AI的综合法律框架-人工智能法案AI ACT 正式生效欧盟人工智能法案是世界上第一部基线的且具有法律约束力的人工智能产品安全立法，强调人权。在欧洲市场运营的国际公司必须遵守欧盟人工智能法案该法案旨在确保欧盟市场上人工智能系统的安全性，为人工智能领域的投资和创新提供法律依据，同时最大限度地降低消费者面临的相关风险以及供应商的合规成本。欧盟AI法案遵循适度的风险管理方法，旨在对人的基本权利和安全构

5、成高风险的情况下，施加法律监管。7不可接受高在合规条件下使用低无约束使用，鼓励自愿遵守通用AI模型 GPAI系统性风险透明度人机交互的场景下满足透明度要求AI systemDNV 04 FEBRUARY 2024高风险AI系统强制性要求风险管理体系数据与数据治理技术文件记录保存透明度与信息披露人工监督精度，稳健性和网络安全建立、实施、记录和维护有效的风险管理体系，控制全生命周期中的风险采用科学有效的数据治理和管理方案在该系统投放市场或投入使用之前按照法律要求起草技术文件完善事件或日志的自动记录功能，满足运行阶段的监测要求确保人工智能系统的操作足够透明，使用户能够理解系统的输出并正确使用设计合理

6、的人机交互功能，尊重用户的选择权和控制权，避免过度依赖造成的风险满足适当的精度、稳健性和网络安全水平，并在其整个生命周期中保持一致8DNV PDCA 系统模型领导作用绩效评价策划CheckAct支持和运作PlanDo组织环境相关方需求和期望人工智能管理体系结果人工智能管理体系范围改进DNV 10ISO/IEC 42001:2023-人工智能管理体系1.范围2.规范性引用3.术语和定义改进(A)检查(C)运行(D)策划(P)10.改进10.1 持续改进10.2 不符合和纠正措施5.领导力5.1 领导力和承诺5.2 AI方针5.3 角色、职责和权限6.规划6.1 应对风险和机遇的措施6.2 AI目