1、全国网络安全标准化技术委员会2 0 2 4 年9 月人工智能安全治理框架1.人工智能安全治理原则 12.人工智能安全治理框架构成 23.人工智能安全风险分类 33.1 人工智能内生安全风险 33.2 人工智能应用安全风险 54.技术应对措施 74.1 针对人工智能内生安全风险 74.2 针对人工智能应用安全风险 95.综合治理措施 106.人工智能安全开发应用指引 126.1 模型算法研发者安全开发指引 126.2 人工智能服务提供者安全指引 136.3 重点领域使用者安全应用指引 146.4 社会公众安全应用指引 15目 录-1-人工智能安全治理框架人工智能是人类发展新领域，给世界带来巨大机

2、遇，也带来各类风险挑战。落实全球人工智能治理倡议，遵循“以人为本、智能向善”的发展方向，为推动政府、国际组织、企业、科研院所、民间机构和社会公众等各方，就人工智能安全治理达成共识、协调一致，有效防范化解人工智能安全风险，制定本框架。1.人工智能安全治理原则秉持共同、综合、合作、可持续的安全观，坚持发展和安全并重，以促进人工智能创新发展为第一要务，以有效防范化解人工智能安全风险为出发点和落脚点，构建各方共同参与、技管结合、分工协作的治理机制，压实相关主体安全责任，打造全过程全要素治理链条，培育安全、可靠、公平、透明的人工智能技术研发和应用生态，推动人工智能健康发展和规范应用，切实维护国家主权、安

3、全和发展利益，保障公民、法人和其他组织的合法权益，确保人工智能技术造福于人类。1.1 包容审慎、确保安全。鼓励发展创新，对人工智能研发及应用采取包容态度。严守安全底线，对危害国家安全、社会公共利益、公众合法权益的风险及时采取措施。人工智能安全治理框架（V1.0）-2-人工智能安全治理框架1.2 风险导向、敏捷治理。密切跟踪人工智能研发及应用趋势，从人工智能技术自身、人工智能应用两方面分析梳理安全风险，提出针对性防范应对措施。关注安全风险发展变化，快速动态精准调整治理措施，持续优化治理机制和方式，对确需政府监管事项及时予以响应。1.3 技管结合、协同应对。面向人工智能研发应用全过程，综合运用技术

4、、管理相结合的安全治理措施，防范应对不同类型安全风险。围绕人工智能研发应用生态链，明确模型算法研发者、服务提供者、使用者等相关主体的安全责任，有机发挥政府监管、行业自律、社会监督等治理机制作用。1.4 开放合作、共治共享。在全球范围推动人工智能安全治理国际合作，共享最佳实践，提倡建立开放性平台，通过跨学科、跨领域、跨地区、跨国界的对话和合作，推动形成具有广泛共识的全球人工智能治理体系。2.人工智能安全治理框架构成基于风险管理理念，本框架针对不同类型的人工智能安全风险，从技术、管理两方面提出防范应对措施。同时，目前人工智能研发应用仍在快速发展，安全风险的表现形式、影响程度、认识感知亦随之变化，防

5、范应对措施也将相应动态调整更新，需要各方共同对治理框架持续优化完善。2.1 安全风险方面。通过分析人工智能技术特性，以及在不同行业领域应用场景，梳理人工智能技术本身，及其在应用过程中面临的各种安全风险隐患。2.2 技术应对措施方面。针对模型算法、训练数据、算力设施、产品服务、应用场景，提出通过安全软件开发、数据质量提升、安全建设运维、测评监测加固等技术手段提升人工智能产品及应用的安全性、公平性、可靠性、鲁棒性-3-人工智能安全治理框架的措施。2.3 综合治理措施方面。明确技术研发机构、服务提供者、用户、政府部门、行业协会、社会组织等各方发现、防范、应对人工智能安全风险的措施手段，推动各方协同共

6、治。2.4 安全开发应用指引方面。明确模型算法研发者、服务提供者、重点领域用户和社会公众用户，开发应用人工智能技术的若干安全指导规范。3.人工智能安全风险分类人工智能系统设计、研发、训练、测试、部署、使用、维护等生命周期各环节都面临安全风险，既面临自身技术缺陷、不足带来的风险，也面临不当使用、滥用甚至恶意利用带来的安全风险。3.1 人工智能内生安全风险3.1.1 模型算法安全风险（a）可解释性差的风险。以深度学习为代表的人工智能算法内部运行逻辑复杂，推理过程属黑灰盒模式，可能导致输出结果难以预测和确切归因，如有异常难以快速修正和溯源追责。（b）偏见、歧视风险。算法设计及训练过程中，个人偏见被有