《IDC:蚂蚁集团:大模型应用可信框架助力企业构建可信AI体系报告(10页).pdf》由会员分享,可在线阅读,更多相关《IDC:蚂蚁集团:大模型应用可信框架助力企业构建可信AI体系报告(10页).pdf(10页珍藏版)》请在三个皮匠报告上搜索。
1、 December 2025,IDC#CHC53955925 厂商概况 蚂蚁集团:大模型应用可信框架助力企业构建可信 AI 体系 Sophia Wang,CISSP IDC 观点 生成式人工智能(GenAI)技术的浪潮正以前所未有的速度席卷千行百业,在催生新质生产力、重塑业务流程的同时,也彻底改写了企业安全风险的版图。尤其是当大模型及其驱动的智能体从实验室走向规模化产业应用时,其内生复杂性使得企业的运营管理难度与安全暴露面快速扩大。在企业级终端用户部署过程中,诸如模型幻觉、内容安全、数据安全等问题亟需解决。构建端到端的可信 AI 体系是破局的核心。可信 AI 体系是一项需要从企业战略层面进行规
2、划设计,并与业务目标深度融合的系统性工程。企业需将安全、治理左移,结合企业的 AI风险评估,把安全、数据治理与合规放到首位执行。具体来说,构建有韧性的 AI 治理方案对于建设可信、安全的 AI 体系至关重要。大模型作为企业 AI 系统的重要组成部分,也将在企业整体的 AI 治理框架中分阶段、分步进行全生命周期的安全管控。其中,数据隐私与安全、透明度和可解释性、AI合规、模型监控与验证、偏差检测和缓解将作为AI治理的核心内容落地执行,助力企业构建可信 AI 体系。关于厂商概述 本篇 IDC 厂商概述介绍了蚂蚁集团的公司概况,以及其提出的 DKCF 大模型应用可信框架的定义、内容和最佳实践,以便企
3、业更好地了解 DKCF 框架理念,并为其未来的大模型应用可信建设提供指导。市场综述 近年来,生成式 AI 已经成为全球最火热的技术和话题之一,通过技术的快速发展迭代,大语言模型、智能体等生成式 AI 技术在各行业快速渗透,助力企业业务提质增效。IDC 预测,到 2030 年,人工智能将为全球带来 22.3 万亿美元的经济收入,占 2030 年全球 GDP 的3.7%。与此同时,伴随大模型、智能体在金融、政务、医疗、能源等行业应用落地不断加深,最终用户网络的攻击面进一步增大,引入了诸多全新的、动态的安全风险。举例来说,医疗聊天机器人的基座模型可能会由于意图判断失误、专家知识不足等原因提供过时甚至
4、错误的信息给到用户,导致延误治疗等严重后果。在网络安全领域,攻击者会利用大模型的幻觉特性构建虚假信息网络,诱导大模型做出危险判断和动作等。因此,最终用户在落地大模型时,模型幻觉、可信推理、可信执行、访问安全、内容安全等均是其亟需解决的核心痛点。IDC 最新调研显示,超过 54%的最终用户对于大模型幻觉的问题表现出担忧,大模型训练、推理、反馈全流程的可信是最终用户用好大模型和智能体的根本(见图 1)。2025 IDC#CHC53955925 2 图 1 全球用户关注的大模型与智能体风险 n=624 全球 来源:IDCs Global GenAI Technology Trends Survey,
5、2025 今年 3 月,哥伦比亚大学数字新闻研究中心针对主流 AI 搜索工具进行的专项测试发现,这些工具在新闻引用方面的平均错误率达到 60%。一些研究显示,AI 并不擅长辨别新闻事实来自哪里,会出现混淆信息来源、提供失效链接等问题。更令人担忧的是,随着模型规模的扩大,某些类型的幻觉问题不仅没有改善,反而呈现加剧趋势。全球各国也已经关注到了大模型应用可信问题的重要性,美国国家标准与技术研究院(NIST)发布的人工智能风险管理框架、欧盟制定的人工智能法案,以及中国颁布的生成式人工智能服务管理暂行办法,均对生成式 AI 生成内容的真实性、准确性等提出了要求,明确了管理者需对其做到尽职关心。上述法律
6、法规共同指向一个核心:企业需要为其部署的大模型、智能体应用的可信度负责。蚂蚁集团的 DKCF 大模型可信应用框架对于大模型执行过程中的可信问题给出了具体的应对思路和方法,尤其在处理模型幻觉上,其对最终用户的大模型可信应用实践提供了指导。蚂蚁集团 DKCF 大模型可信应用框架综述 公司概览 蚂蚁集团起步于 2004 年诞生的支付宝,经过多年发展,已成为世界领先的互联网开放平台。蚂蚁集团通过科技创新,助力合作伙伴,为消费者和小微企业提供普惠便捷的数字生活及数字金融服务。其持续开放产品与技术,助力企业的数字化升级与协作,同时在全球广泛合作,服务当地商家和消费者实现全球收全球付和全球汇。蚂蚁集团的业务