当前位置:首页 > 报告详情

北京大学:2026智能体伦理治理研究报告(摘要版)(35页).pdf

上传人: 茫然 编号:1281868 2026-07-26 35页 24.78MB

核心结论速览: 人工智能正从“信息生成”转向“任务执行”:智能体(Agent)具备规划、工具调用、环境感知、持续交互和自主执行能力,已进入办公、制造、交通、医疗及公共服务等场景,从“问答系统”转变为“持续行动系统”。 智能体的运行逻辑已转为“目标—规划—行动—反馈”循环:它接收长期目标,自主调取资料和数据,并根据反馈修正步骤。系统输出不再是终点,而是后续决策和行动的依据。 中国已形成多层次的AI治理框架:涵盖算法推荐、深度合成、生成式人工智能服务管理及伦理审查等制度。2026年《智能体规范应用与创新发展实施意见》进一步界定智能体,提出以人为本、智能向善、多元共治和安全稳妥。 欧盟《人工智能法案》以风险分级为核心:将系统分为不同风险等级,对高风险系统提出人类监督、透明、可追溯、稳健和安全要求。2026年数字综合法案调整了高风险AI系统合规期限。 智能体引发六大类伦理问题:身体安全与生命健康风险、隐私保护与数据伦理风险、人格尊严与人机关系风险、公平使用与差别影响风险、空间秩序与公共安全风险、责任归属与损害救济风险。 现有规则面临六大适用困境:持续交互场景下数据治理规则边界不清、自主行动能力扩展使算法治理规则承压、平台治理规则责任配置失衡、伦理审查机制覆盖不足、工具接口规则约束力弱、责任救济规则存在制度短板。 构建了以人为本的六维治理框架:以人为本原则、风险分级治理、生命周期治理、工具调用行为控制、多智能体协同治理、责任配置优化。H2:智能体的技术基础与运行特征。从“生成”到“行动”的本质跃迁。智能体建立在大模型之上,但其本质区别不在文本生成能力,而在能否围绕目标持续行动。其可规划多步骤任务、调用工具和检索数据库,形成连贯执行链条。主流智能体由基础模型、规划、记忆、工具和反馈模块构成,分别承担理解推理、任务拆解、历史保存、资源连接和方案调整。判断智能体的核心,在于其运行逻辑是否转为“目标—规划—行动—反馈”循环。它接收长期目标,自主调取资料和数据,并根据反馈修正步骤,任务执行成为运行核心。智能体的五大核心特征。1. 目标导向性:用户更多提出结果要求,系统自行选择行动路径并判断下一步操作,由被动响应工具转向任务管理者。2. 持续决策能力:前一阶段结果成为后一阶段决策依据,系统通过环境反馈动态修正方案。同一目标可能产生不同路径,行为难以由初始提示词完全预测。3. 记忆积累能力:借助外部数据库、向量存储和知识库保存历史信息,记忆影响后续规划、工具选择和行动决策,形成跨时间的行为连续性。4. 工具调用能力:可连接搜索、数据库、支付、邮件及物理设备,错误不再仅产生信息影响,还可能直接导致交易执行、数据删除、资源调配或设备控制。5. 协同运行能力:多个智能体可分工采集、规划和执行任务,最终结果由持续互动共同形成,行为后果难以归于单一模块。H2:智能体引发的六大伦理问题。(一)身体安全与生命健康风险。智能体可突破数字空间限制,行为结果能够直接作用于现实中的人身安全。风险的形成主要源于智能体自主决策能力与现实环境复杂性之间的矛盾。当系统面对超出训练数据覆盖范围的新情境时,仍然可能产生错误判断。在多智能体协同环境下,一个智能体产生的错误信息还可能通过任务分工和信息共享机制传递至其他智能体,形成连锁反应。(二)隐私保护与数据伦理风险。智能体具有持续运行、长期记忆以及环境感知等特征,往往需要持续收集、分析和利用用户信息以及外部环境数据。即便部分数据本身并不属于敏感信息,系统仍可能通过多源数据关联分析推断出用户的健康状况、消费习惯、社会关系乃至价值偏好。此外,多智能体协同场景下的数据共享和信息交换进一步增加了数据流向的不透明性。(三)人格尊严与人机关系风险。大语言模型具有较强的语言表达能力和拟人化交互特征,智能体在持续交互过程中容易被用户赋予人格化色彩。在情感陪伴、心理咨询、教育辅导等应用场景下,部分用户可能逐渐形成对智能体的情感依赖。联合国教科文组织、经济合作与发展组织以及我国《新一代人工智能伦理规范》均强调,应当坚持以人为中心的发展理念,确保技术发展始终服务于人的全面发展和社会公共利益。(四)公平使用与差别影响风险。智能体参与任务执行、资源配置和决策支持,不公平影响将从信息生成层面延伸至现实社会运行领域。算法黑箱的天然封闭性会让历史沉淀的社会偏见被技术隐性固化,在缺乏可解释机制的前提下,偏见极易从数据层传导至决策落地环节。在招聘、金融、教育、医疗资源分配与公共服务场景中,决策结果直接关系到个人就业、升学、信贷以及享受公共服务的机会。(五)空间秩序与公共安全风险。智能体逐步落地智慧交通、城市治理、公共服务、金融交易与关键基础设施管理等领域,行为结果已不再局限于网络空间内部,而可能直接影响现实社会中的运行秩序。在信息调度、公共资源统筹等工作中,智能体一旦出现运行偏差,就会直接牵连交通、商贸、公共服务等多领域的日常运转。(六)责任归属与损害救济风险。智能体行为链条明显长于传统生成式人工智能,一个完整的任务执行过程往往涉及基础模型开发者、智能体运营平台、第三方工具提供者、数据服务提供者以及最终用户等多个主体。损害结果往往并非来源于某一主体的单独行为,而是在多主体共同参与和持续交互过程中逐步形成。受害人通常难以准确掌握系统内部运行逻辑以及不同主体在损害形成过程中的具体作用,面临举证困难。H2:智能体伦理治理面临的规则适用困境。(一)持续交互场景下数据治理规则的适用边界尚不清晰。我国《个人信息保护法》《数据安全法》确立数据处理合法、正当、必要原则。但智能体的数据处理具有长期、动态、分阶段特征,相关规则的适用边界并不清晰。智能体执行任务时会根据环境反馈调整方案,可能在初始授权之外继续调取地图、支付工具、通讯记录和历史使用数据。长期记忆机制使“撤回同意终止后续处理”和“处理目的不再必要”的制度功能难以落实。(二)自主行动能力扩展使算法治理规则面临新的调整压力。算法透明度规则难以满足动态链式行为解释需求。智能体行为由模型推理、外部工具反馈、实时环境数据共同塑造,即使基础模型参数不变,接入不同接口后也可能形成不同执行路径。算法备案和风险评估制度也难以回应能力持续变化——智能体运行中可能不断接入新工具接口、外部数据库和第三方服务,事前静态监管难以覆盖全生命周期风险变化。(三)平台治理规则在智能体生态运行中呈现责任配置失衡。智能体运行依赖基础模型、智能体平台、第三方工具、数据服务与用户共同参与,已突破单一平台控制的制度预设。智能体大量数据经由外部数据库、第三方接口获取,平台即使完成自有环节合规,也难以实质审查外部资源中隐含的隐私、知识产权瑕疵。现行规范主要依托《民法典》帮助侵权条款和避风港规则,智能体损害常由算法设计缺陷、第三方数据失真、接口运行故障等因素共同促成,难以契合既有构成要件。(四)伦理审查机制对高风险动态应用的覆盖仍显不足。《生成式人工智能服务管理暂行办法》要求商用前完成一次性安全评估,《人工智能科技伦理审查与服务办法(试行)》亦将项目立项、投产作为伦理审查核心节点,但智能体重要伦理风险往往在落地使用并连续对接外部系统后显现。现行伦理规制偏重事前风险筛查,缺少面向常态化运行的动态监管条款。(五)工具接口规则对越权行动风险的约束能力有待强化。智能体仅凭概括性任务需求即可串联多类应用接口,在未分项征得许可的情况下聚合访问权限。单项接口授权形式上合规,但权限叠加后的实际使用范围可能超出用户初始授权意图。现行立法尚未划定权限聚合越权的合规判断标准。(六)责任救济规则在智能体行为后果分配中存在制度短板。智能体损害往往由多方行为共同促成。过错责任以主观过错为前提,产品责任聚焦出厂阶段设计、制造缺陷,但智能体风险常在上线后通过自主学习、外接接口逐步形成。民事诉讼举证规则与智能体案件证据分布不相适配——决策逻辑、接口调用记录、算法参数等关键数据多由平台和研发主体控制。H2:智能体伦理治理的框架建构。(一)确立以人为本的智能体伦理治理原则。“以人为本”并不是要限制技术发展,而是要求技术发展不以损害人的基本尊严和人权为前提,同时实现社会福利最大化。五项核心原则包括:人类主导原则(明确人类在人机关系中的主导地位)、公平公正原则(不得对任何人进行歧视)、尊重人格尊严原则(不得损害人类身心健康和情感福祉)、可控可信原则(系统应安全可靠可解释)、可持续发展原则(兼顾经济、社会和环境效益)。(二)建立基于风险分级的智能体治理结构。根据自主能力和执行权限,将智能体划分为四个风险等级: 不可接受风险:用于制造大规模杀伤性武器的智能体 → 严格禁止。 高风险:医疗诊断、治疗方案制定等 → 事前审查、事中监管、事后追责。 中风险:客户服务、办公辅助、智能家居等 → 行业自律与企业自我规制。 低风险:简单信息查询、日程管理、游戏娱乐等 → 自我约束。(三)构建贯穿生命周期的伦理治理机制。将伦理要求嵌入智能体从设计到退役的每一个环节: 设计阶段:伦理嵌入(Ethics by Design),进行全面伦理影响评估。 开发阶段:伦理测试(偏见测试、公平性测试、安全性测试、可解释性测试)。 部署阶段:伦理备案与告知,取得用户明确同意。 运行阶段:伦理监测与干预,持续风险评估。 退役阶段:伦理处置,安全删除数据。(四)完善围绕工具调用的行为控制机制。工具调用是智能体区别于普通生成式AI的核心特征,也是伦理风险的主要来源。应建立工具调用权限分级管理、流程管控、审计与追溯机制,确保每一次工具调用都可追溯、可审计。审计日志应记录调用时间、用户、工具名称、参数、执行结果、人工确认情况等信息,保存期限不少于三年。(五)建立面向多智能体系统的协同治理机制。多智能体系统带来了新的伦理风险——智能体之间的冲突和集体决策的黑箱化进一步加剧了责任归属的模糊化。治理应从整体出发,关注系统的整体行为和影响,保证决策过程和协作机制透明,所有行为都应当被记录和保存。(六)优化智能体伦理治理的责任配置机制。责任主体主要包括开发者、部署者、服务提供者、用户和监管者。责任承担方式包括民事赔偿、行政处罚(警告、罚款、责令停产停业、吊销许可证)和刑事追责。延伸阅读。以上为报告核心趋势分析,如需获取完整人工智能伦理治理研究报告及全部政策梳理与框架细节,请访问下载页下载完整PDF报告。FAQ。Q1:智能体与传统生成式人工智能的本质区别是什么?A:传统生成式人工智能主要响应单次指令、生成内容;智能体则围绕目标拆解任务、制定方案、调用工具,并随环境变化调整执行。其运行逻辑已转为“目标—规划—行动—反馈”循环,由信息生成工具转变为行动系统。Q2:智能体主要引发哪些伦理问题?A:六大类问题:身体安全与生命健康风险(决策失误可能造成实体伤害)、隐私保护与数据伦理风险(持续收集和关联分析个人数据)、人格尊严与人机关系风险(情感依赖和主体地位削弱)、公平使用与差别影响风险(算法偏见传导至现实决策)、空间秩序与公共安全风险(影响交通、公共服务等现实运行)、责任归属与损害救济风险(多主体参与导致责任难以认定)。Q3:现有AI治理规则为什么难以适用于智能体?A:现有规则多围绕数据处理、内容生成和平台服务设计,难以覆盖智能体长期运行、动态决策及工具调用。具体表现为六大困境:数据治理规则边界不清、算法治理规则承压、平台责任配置失衡、伦理审查覆盖不足、工具接口约束力弱、责任救济存在制度短板。Q4:智能体伦理治理的核心框架是什么?A:以人为本为原则,以风险分级为基本方法,以生命周期治理为主要路径,以工具调用行为控制为关键环节,以多智能体协同治理为重要补充,以责任配置优化为制度保障。Q5:我国在智能体伦理治理方面有哪些政策进展?A:2023年《科技伦理审查办法(试行)》将人工智能纳入伦理审查;2025年《关于深入实施“人工智能+”行动的意见》明确智能体发展目标;2026年《智能体规范应用与创新发展实施意见》界定智能体,提出以人为本、智能向善、多元共治和安全稳妥。数据来源说明。本分析基于北京大学人工智能研究院、中国电子技术标准化研究院、国家人工智能标准化总体组、北京大学武汉人工智能研究院联合发布的《人工智能伦理治理(摘要版)研究报告》。
word格式文档无特别注明外均可编辑修改,预览文件经过压缩,下载原文更清晰!
三个皮匠报告文库所有资源均是客户上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作商用。
客服
商务合作
小程序
服务号
折叠