《赛迪：2025人工智能伦理风险与治理研究报告（13页）.pdf》由会员分享，可在线阅读，更多相关《赛迪：2025人工智能伦理风险与治理研究报告（13页）.pdf（13页珍藏版）》请在三个皮匠报告上搜索。

1、人工智能伦理风险与治理研究中国电子信息产业发展研究院政策法规研究所（工业和信息化法律服务中心）二O二五年四月1二问题聚焦随着人工智能技术向经济社会各行业各领域加速渗透，其引发的伦理争议已成为全球关注焦点，美欧等主要经济体均根据自身情况，开展了一系列伦理治理实践。目前，我国人工智能伦理治理的基本理念、规则体系、治理模式和国际主张初步形成。在新形势新要求下，亟待优化完善具有中国特色的人工智能伦理风险治理路径。本研究重点回答：人工智能伦理风险是什么、治理现状如何、未来如何治理等问题。治理现状如何？是什么？未来如何治理？人工智能伦理风险的内涵特征是什么？人工智能带来了哪些伦理风险？这些风险如何进行类型

2、划分？国际组织、欧盟、美国等开展了哪些伦理治理实践，探索了哪些模式？我国已探索开展了什么样的伦理治理实践？面临哪些新形势新要求？应如何完善现有治理路径？拟回答问题12二思路框架治理实践探索治理对象分析风险分类面临形势要求优化路径建议中央要求亟待落实实践问题亟待解决企业诉求亟待回应国际组织内涵特征分类体系生成机制典型场景/案例欧盟美国国外我国治理理念治理规则2治理模式国际主张持续完善法律法规体系强化多元协同治理机制深化国际治理合作统筹伦理治理与产业发展3人工智能五大伦理风险3侵权性风险歧视性风险社会性风险责任性风险失控性风险对个人权益的直接侵犯对特定群体产生不公正的价值判断或决策结果误用、滥用技

3、术或技术局限，而对公共社会秩序造成负面影响造成负面影响后的责任界定难题人工智能行为及影响超出人类预设、理解和可控范围侵犯个人信息权侵害个人生命健康权侵犯知识产权对特定群体产生歧视性决策结果生成内容出现歧视性表达生成不良信息助长错误价值观技术漏洞导致生成虚假、错误信息人为滥用技术导致财产损失、精神损害“主体”身份认同危机责任界定困难利益与责任分配不公人类主体能力退化和自主意识弱化人类丧失对人工智能的控制能力海量数据需求与过度收集算法“黑箱”与透明度缺失技术漏洞与安全缺陷“合理适用”“知情同意”机制难执行缺乏有效的版权审查和授权机制训练数据包含隐性偏见内容模型内部运作机制难以理解和解释内容语料标准

4、模糊生成内容的审核、监测和控制机制不够完善训练数据含有不良内容模型存在技术漏洞被外部输入干扰信息平台内容审核与处理机制不完善缺乏对失业等社会性风险的有效应对方案技术和模型的决策过程难以被人类理解和预测人工智能应用过程中各方责任关系复杂数据资本垄断化、算法权力黑箱化人类产生“认知卸载”“算法迷信”自主学习机制等导致人类无法预测其行为伦理审查形式化，如缺乏对“主体性”危机的关注人工智能伦理风险是指：在人工智能技术的开发、部署和应用过程中，因技术特性、使用方式或管理缺陷等而引发的侵犯个人权益、冲击社会秩序、违背人类价值观的伦理风险，具体可从五个维度来分析。具体含义主要类型生成机制 技术+规制4国际组

5、织伦理治理现状总体原则联合国为人类治理人工智能（2024.09）、联合国教科文组织人工智能伦理问题建议书（2021.11）、二十国集团人工智能原则（2019.06）等。国际电信联盟（ITU）已发布或正在制定超过200项与人工智能相关的规则标准。其中，ITU在2024年世界电信标准化全会上形成的第COM4/AI号决议，是ITU首份人工智能新决议，致力于将人工智能应用于电信/ICT。4人工智能系列峰会2023年英国峰会，28个国家和欧盟签署布莱切利宣言；2024年首尔峰会，10个国家和欧盟签署首尔声明；2025年巴黎行动峰会，61个国家签署巴黎人工智能宣言，促使越来越多的国家和地区就人工智能全球治

6、理问题达成共识。人工智能造福人类全球峰会2024年5月，国际电信联盟（ITU）与40个联合国伙伴机构合作达成了推动人工智能负责任应用、制定相关标准、讨论全球人工智能治理框架等共识。全球工业和制造业人工智能联盟2023年7月，联合国工业发展组织（UNIDO）在第六届世界人工智能大会上宣布成立，聚焦于制定并推广工业和制造业领域的人工智能伦理准则，推动形成更广泛的国际共识。具体行业通信领域：国际电信联盟（ITU）人工智能治理日从原则到落实（2024.07）专题报告。金融领域：国际清算银行（BIS）中央银行使用人工智能（2024.01）生成式人工智能与中央银行网络安全（2024.05）。卫生领域：世界

7、卫生组织（WHO）多模态大模型人工智能伦理和管理问题指导文件（2024.01）。世界数字技术院（WDTA）发布生成式人工智能应用安全测试标准和大语言模型安全测试方法（2024.04），是国际组织首次就大模型安全领域发布国际标准。图：全球工业和制造业人工智能联盟成立仪式图：全球工业和制造业人工智能联盟成立仪式图：人工智能伦理问题建议书4项核心价值观图：人工智能伦理问题建议书4项核心价值观生成式人工智能应用安全测试标准定义人工智能应用程序架构各层的测试和验证范围大语言模型安全测试方法提出大语言模型的安全风险分类、攻击的分类分级方法以及测试方法发布文件提出治理原则建议搭建平台推动全球伦理共识制定标准

8、规范技术发展5美欧人工智能伦理治理现状5治理方式治理机构治理体制影响力量美国刚性和严格性：治理文件规制明确，并设有严格的罚则成熟性和系统性：整体层面和成员国层面均建立监管机构统一综合：在整体层面统一立法以确保法律稳定性政府主导：主要依赖行政手段对人工智能进行监管欧盟内部目标行业力量格局治理路径依赖深 层原 因外部目标柔性和自愿性：侧重产业促进和经验探索，而非监管协调性和咨询性：以软性指导为主，尚无监管性机构分散性：联邦无统一立法，各州进行自发零散的治理探索企业界影响较大：具有影响力的企业往往积极进行游说对内鼓励技术创新：避免不必要地阻碍人工智能创新对外强调超前发展：将人工智能视为大国竞争的重要

9、资产强有力的企业规模：技术领先的人工智能公司积极争取权益部门探索和经验驱动：新业态监管倾向分散探索和事后规范对内安全伦理优先：高度重视伦理和安全问题对外重视规则影响力：试图构建安全可靠的国际治理范本相对滞后的技术水平：企业规模普遍较小，技术发展不突出统一治理和立法先行：新业态监管倾向风险预防和统一立法6中国人工智能伦理治理现状6法律：顶层治理原则和框架部门规章：专门性治理要求行业规范文件：重要合规参考基础法律框架：网络安全法、数据安全法、个人信息保护法等法律分别从网络、数据、个人信息层面对人工智能进行伦理安全风险监管。综合性立法提上日程：2025年3月，全国人大常委会工作报告提出围绕人工智能等

10、新兴领域加强立法研究。2024年5月，国务院年度立法工作计划提到预备提请全国人大常委会审议人工智能法草案。生成式人工智能服务暂行管理办法：世界首部应对生成式人工智能安全风险的专门立法。人工智能生成合成内容标识办法：规范人工智能生成合成内容标识，重点明确“显式”和“隐式”标识要求，发挥监督溯源作用。科技伦理审查办法（试行）：规范科学研究、技术开发等科技活动的科技伦理审查工作，强化科技伦理风险防控，促进负责任创新。互联网信息服务算法推荐管理规定：具有舆论属性或者社会动员能力的算法推荐服务提供者应当按照国家有关规定履行备案手续。生成式人工智能服务安全基本要求：明确了生成式人工智能服务在语料安全、模型

11、安全、安全措施等方面的基本要求。图：国务院2024年度立法工作计划（国务院官网）图：生成式人工智能服务安全基本要求基本架构图：国务院2024年度立法工作计划（国务院官网）图：生成式人工智能服务安全基本要求基本架构 新一代人工智能伦理规范：提出管理、研发、供应等活动的18项具体伦理要求。网络安全标准实践指南人工智能伦理安全风险防范指引：提出人工智能研究开发、部署应用等活动的伦理措施。服务安全要求安全措施要求内容治理要求模型安全要求语料安全要求人人研发阶段服务阶段治理理念治理规则以人为本“发展人工智能应坚持以人为本理念，以增进人类共同福祉为目标，以保障社会安全、尊重人类权益为前提，确保人工智能始终

12、朝着有利于人类文明进步的方向发展”习近平发布全球人工智能治理倡议健康发展“建立健全保障人工智能健康发展的法律法规、制度体系、伦理道德”习近平主持中共中央政治局第九次集体学习的讲话开放协同“鼓励通过国际合作和实际行动帮助各国特别是发展中国家加强人工智能能力建设，增强发展中国家在人工智能全球治理中的代表性和发言权”中国在联合国大会提出的加强人工智能能力建设国际合作决议初步形成法律、部门规章、规范文件的阶梯式人工智能治理规则体系显式标识要求隐式标识要求7中国人工智能伦理治理现状6输出中国治理方案搭建全球治理机制参与多边治理活动国际主张探索并推动中国治理方案走向世界。例如，发布全球人工智能治理倡议等文

13、件，积极参与国际标准的制定。推动全球AI技术和治理合作。例如，在巴黎峰会主办专题边会，探讨如何促进各国共享人工智能发展成果。积极搭建各国共建共治平台。例如，推动建设“一带一路”数字治理研究院，参与并推动以联合国为核心的多边合作机制。政府用户企业行业01040203制定和完善法律法规，明确人工智能伦理边界。及时发现并处理引发伦理风险的行为。政策引导+监管协调发挥专业性和影响力，制定人工智能技术标准和伦理规范，引导行业自律。技术标准+行业规范合理使用人工智能，并利用各种渠道对人工智能产品和服务进行监督。公众监督+共治参与建立健全企业合规制度，确保人工智能项目的各个环节符合法律法规规定的伦理要求。落

14、实要求+内部合规治理模式8形势与要求中央要求亟待落实健全完善人工智能监管机制。党的二十届三中全会提出，“完善生成式人工智能发展和管理机制”“加强网络安全体制建设，建立人工智能安全监管制度”。加强人工智能治理国际合作。习近平总书记强调：“同各国加强交流和对话，共同促进全球人工智能健康有序安全发展”。实践问题亟待解决促进技术发展与保障伦理安全之间的关系日益复杂，平衡各维度矛盾成为实践难题：技术普及 V.S.社会公平。如何更好处理技术快速发展中出现的资源分配不公、部分群体被边缘化等问题？自主决策 V.S.人类控制。如何更好兼顾实现在提升人工智能技术先进性的同时，确保技术受人类控制？商业利益 V.S.

15、公众利益。如何更好地避免商业短期利益凌驾于人类利益之上？全球治理 V.S.区域规则。如何妥善弥合全球人工智能伦理治理的鸿沟？企业诉求亟待回应通过调研华为、腾讯、360、京东、快手等国内十余家人工智能代表性企业，总结出企业对人工智能伦理治理优化的三方面共性诉求：基于场景化开展分类监管。应更有效区分不同的应用场景和风险等级。提升规则、流程的明确性。应更明确“舆论属性和社会动员能力”等概念界定，进一步明确大模型备案和算法备案之间的关系。强化规则间的协同性。应更好处理个人信息保护、算法公平、数据安全等相关治理工具和规则之间的关系。79优化路径建议8 完善和更新现有法律，针对新出现的问题制定专项法规，填

16、补立法空白。适时起草制定人工智能综合性法律，构建基础性、红线性制度规范以及科学性、系统性兼备的法律框架。持续完善法律法规体系 加强国际合作和实践探索，积极为全球AI治理贡献“中国方案”。灵活调整国际合作策略，减少单边主义对全球科技合作的干预，推动建立更加公正合理的全球科技治理新秩序。引领全球人工智能发展方向，积极推动全球人工智能治理合作伙伴关系建设。深化国际治理合作 建立技术与伦理协同创新体系。构建全链条伦理嵌入研发机制，将可信AI技术、伦理增强型芯片等产品纳入重点研发支持计划。部署伦理治理类创新产品应用推广。推动企业部署治理合规自检系统，推广“治理即服务”。探索新型激励机制。探索将企业伦理治

17、理水平与融资、政府采购等挂钩的机制。统筹伦理治理与产业发展 政府加强执法监管，强化AI滥用风险监控。行业组织加大自律力度，探索行业治理经验并推广最佳实践。企业强化合规管理，将人工智能伦理要求嵌入企业管理和产品生命周期全流程。提高公众对人工智能伦理问题的认知和关注，增强监督意识和能力。强化多元协同治理机制通过阶段性推进、场景化适配和动态化调整的策略方法，持续优化我国人工智能伦理风险治理。10底 层 研 究 能 力 政法所（工业和信息化法律服务中心）人工智能治理开展工作9服务政府工作支撑规则制定法律法规层面：全国人大等人工智能立法支撑研究规章办法层面：支撑工信部人工智能相关规章咨询意见支撑。如标识

18、伦理等行业标准层面：探索研究人工智能领域企业合规标准建设支撑行业治理工信部政法司：新业态监管、开源合规体系、企业合规标准等工信部信管局：个人信息保护调研、加强人工智能监管课题研究等工信部科技司：伦理相关工作支撑、国际治理模式比较联合研究等国家发改委高技术司：大模型生态建设、人工智能相关工作方案等国家数据局：人工智能与数据保护提供市场咨询助力企业合规产品合规方案：为重点企业的人工智能产品提供合规方案企业合规流程：为企业人工智能治理提供全流程合规方案园区企业合规：为软件园区等提供园区企业合规路径咨询其他专项合规咨询：针对特定问题提供合规咨询服务地方政府起草法规规章：为地方制定人工智能领域法规提供咨

19、询服务编制政策规划：为地方统筹人工智能产业发展与风险防范提供研究咨询提供专项咨询：承接人工智能发展与安全相关专项课题委托动态跟踪事件解读行业调研专项研究年度报告11课题名称赛迪研究院政策法规研究所（工业和信息化法律服务中心）通讯地址：北京市海淀区万寿路27号院1号楼25层邮政编码：100036 联 系 人：彭健联系电话：010-68209619 13810637353传 真：010-68209616 网 址：http:/ 电子邮件：思想，还是思想，才使我们与众不同研究，还是研究，才使我们见微知著12 2024年9月创刊，突出理论性、权威性、指导性、实践性。宣传阐释习近平总书记关于新型工业化的重要论述的重要阵地，开展学理研究的重要载体，展示实践成果的重要窗口，跟踪交流新一轮科技革命和产业变革动态趋势的重要平台。面向广大党员干部、理论工作者、企业家和高校、科研院所师生等读者群体，设置“重要论述”“特约文章”“探索实践”“专家论坛”等栏目。工信部机关刊新型工业化联系方式：(010)88558650 (010)88558656期刊官微扫码订刊13