《IBM：生成式AI时代的网络安全研究报告（20页）.pdf》由会员分享，可在线阅读，更多相关《IBM：生成式AI时代的网络安全研究报告（20页）.pdf（20页珍藏版）》请在三个皮匠报告上搜索。

1、生成式 AI 时代的网络安全了解当今的安全环境在如何变化目录01 简介02 网络罪犯会如何使用生成式 AI03 AI 如何充分发挥投入网络安全的时间和人才的作用 04 保护 AI：风险和建议84%的高管计划优先考虑生成式 AI 的网络安全解决方案。13简介约 48%的高管预计，近一半的员工将在明年使用生成式 AI 来助力他们的日常工作。2然而，几乎所有的企业领导者(96%)都表示，采用这种科技可能会在未来 3 年内在他们的组织中造成安全漏洞。1 去年，全球数据泄露的平均成本达到 445 万美元，美国为 948 万美元，企业需要降低风险，而不是增加风险。3雪上加霜的是，黑客预计将采用生成式 AI

2、，获得生成式 AI 以赋予企业的相同速度、规模和先进性。使用生成式 AI，黑客可以创建更具针对性的网络钓鱼电子邮件，模仿受信任用户的声音，创建恶意软件和窃取数据。幸运的是，为了最大限度地利用时间和人才，已投资于机器学习(ML)等传统 AI 解决方案的网络安全领导者可以利用 AI 进行反击。他们可以利用生成式 AI 工具来保护数据和用户，并检测和阻止潜在的攻击。这事关重大。我们创建本指南是为了帮助您应对挑战，并充分利用生成式 AI 的弹性。我们探讨了攻击者可能使用生成式 AI 来攻击您的方式，以及您应如何使用这些科技更好地保护自己。最后，我们提供了一个框架来帮助您保护整个企业的 AI 训练数据、

3、模型和应用程序。014下一章网络安全领导者正面临着生成式 AI 的挑战。当他们的组织尝试这种变革性科技时，虽然这项科技可以推动整个企业的生产力大幅提高，但他们必须控制生成式 AI 可能带来的潜在风险和威胁。这包括从意外数据泄露到黑客操纵 AI 执行恶意任务带来的各种风险和威胁。网络罪犯会如何使用生成式 AI02生成式 AI 可能会像其可以为企业提供速度、规模、精度和先进性等益处一样，让攻击者受益。生成式 AI 还将提高可能缺乏技术专长的新手的技能，降低门槛，即使是新手黑客也可以在全球范围内发起恶意网络钓鱼和恶意软件活动。在准备应对这些威胁时，您应该考虑网络安全研究人员发现生成式 AI 相关攻击

4、的两个主要途径。5下一章上一章生成式 AI 相关攻击的主要途径攻击您的组织攻击您的 AI6下一章上一章 更多网络钓鱼，更多点击：尽管 AI 设计的网络钓鱼旨在实现与人类设计的网络钓鱼相同的目标，但它成为一种可以让攻击者加速并增加其网络钓鱼活动的工具。这种情况会增加用户错误点击恶意电子邮件的可能性。目标式网络钓鱼：攻击者可以使用生成式 AI 聊天机器人来研究受害者的在线个人资料，从而获得对目标受害者生活方式的宝贵洞察分析。这些聊天机器人还可以生成极具说服力的网络钓鱼电子邮件，模仿目标受害者的语言风格。02网络罪犯会如何使用生成式 AI攻击您的组织使用大型语言模型(LLM)，网络犯罪分子可以更快地

5、进行更多攻击，从电子邮件网络钓鱼活动到创建恶意软件代码。尽管这些威胁由来已久，但黑客将手动任务转移到 LLM 所获得的速度和规模可能会使已经面临持续人手和技能短缺的网络安全团队不堪重负。4 AI设计的网络钓鱼研究人员证明，利用生成式 AI 可以在几分钟内创建逼真的网络钓鱼电子邮件。5他们还发现，这些电子邮件几乎与那些在社会工程网络钓鱼攻击方面经验丰富的人创建的电子邮件一样有效。这些电子邮件非常有说服力，甚至可以挑战准备最充分的组织。深度伪造的音频网络安全领导者担心生成式 AI 深度伪造音频的威胁。在这些攻击中，犯罪分子可以将在线获得的说话者声音的录音输入到 LLM 中，LLM 可以生成他们想要

6、的任何音频。例如，他们可以使用公司首席执行官的声音给首席财务官留言，指示他们向攻击者控制的银行账户支付一张伪造的发票。IBM 已经证明，攻击者可以实时进行“音频插孔”呼叫。IBM 的一名研究人员表明，攻击者可以通过拦截实时通话，实时克隆说话者的声音，生成可以欺骗听话者以泄露敏感信息的话语来做到这一点。例如银行账号和网络密码。这种新攻击方法的术语是“网络钓鱼 3.0”，您所听到的似乎是合法的，但事实并非如此。网络安全专业人员可能需要通过一系列个人之间使用的安全代码来确认身份，打击这种形式的网络攻击。这种方法将为员工的生活增加更多层次的网络安全提示。02网络罪犯会如何使用生成式 AI攻击您的 AI

7、7黑客罪犯可能会尝试攻击企业 AI 模型，实际上是利用您的 AI 来对付您。他们可以通过将恶意训练数据注入 AI 模型并迫使 AI 做他们想做的事来对您的 AI“投毒”。例如，他们可能会让您的 AI 对供应链做出错误的预测，或者对聊天机器人产生仇恨。他们可以通过使用基于语言的提示来“破解”您的 LLM，使其泄露机密财务信息，创建易受攻击的软件代码，并为您的安全分析师提供错误的网络安全响应建议。对您的AI“投毒”让您的 AI 来对付您可能是网络罪犯的最高愿望。这可能很难做到，但并非不可能。通过对用于训练 LLM 的数据“投毒”，攻击者可以使其出现故障或恶意行为，而不会被发现。一次成功的攻击可能是

8、制造虚假信息或对关键基础设施发动网络攻击。但是，这些攻击要求黑客能够访问训练数据。如果这些数据是封闭、可信和安全的，这些攻击就很难进行。但是，如果您的 AI 模型是在开源数据集上训练的，对您的 AI“投毒”的门槛就会低得多。破解您的LLM有了 LLM，英语基本上已经成为一种编程语言。攻击者无需掌握传统的编程语言（如 Python 和 Java）来创建恶意软件来破坏计算系统，而是可以使用自然语言提示来命令 LLM 做他们想做的事情。即使有护栏，攻击者也可以使用这些提示来绕过或破解 AI 模型上的安全和审核功能。为了更好地了解攻击者如何操纵 LLM，IBM X-Force 研究人员6成功地提示多个

9、 LLM：泄露有关其他用户的机密财务信息 创建易受攻击的恶意代码 提供较差的安全建议下一章上一章8下一章上一章51%高管们表示，他们 2023 年的 AI 网络安全预算比 2021 年增加了 51%。他们预计到 2025 年，这些预算将再增加 43%。120212023 年20259下一章上一章AI 如何充分发挥投入网络安全的时间和人才的作用03除了外部挑战外，网络安全领导者还面临着许多内部挑战。可以填补整个行业空缺职位的人太少了据一项政府估算，空缺职位达 700,000 个。4此外，敏感数据激增，基础设施复杂性不断增加，攻击面不断扩大。所有这些问题都使网络安全领导者及其团队更难保护数据、管理

10、用户访问以及应对他们每天面临的数千种威胁。每天，近三分之一(32%)的安全运营中心(SOC)分析师的时间都花在调查和验证最终被证明是虚假威胁的事件上。7事实上，由于警报数量太多，SOC 团队成员在正常的一天中只能审查他们应审查的警报的一半(49%)。7这种工作状态不仅会打击员工的积极性，还可能会产生严重的网络安全瓶颈。事实上，大多数分析师(81%)表示，每天的手工调查工作减慢了工作速度。7最近，网络安全领导者一直在使用传统的 AI 解决方案应对这些挑战，这些解决方案使用 ML 来帮助 SOC 分析师评估风险，并根据其组织自身的安全需求推荐应对措施。这种方法的优点是公认的：广泛采用 AI 和自动

11、化的组织在发现并遏制泄露方面耗费的时间平均缩短了 108 天。3 领先的 AI 采用者正在监控 95%的网络通信，并将检测时间缩短了三分之一。8 广泛采用 AI 和自动化的组织节省了近 180 万美元。303AI 如何充分发挥投入网络安全的时间和人才的作用10下一章上一章根据 IBM 商业价值研究院关于生成式 AI 在网络安全方面的研究，64%的高管已将网络安全确定为生成式 AI 用例的首要任务。9此外，大多数人了解这些科技的商业价值，84%的人表示他们计划优先考虑生成式 AI 网络安全解决方案，而不是传统的网络安全解决方案。1对于网络安全领导者而言，他们应该教育业务合作伙伴和高级管理层，让他

12、们接受这些解决方案。2023 年，企业领导者意识到生成式 AI 在其组织中的潜力。生成式 AI 开始改变企业的几乎每个角落，从供应链管理（通过预测分析）到客户和员工体验.你好，聊天机器人。但有一方面它尚未触及：网络安全。接下来的 12 个月将改变这一切。生成式 AI 作为网络安全的增力因素11下一章上一章03AI 如何充分发挥投入网络安全的时间和人才的作用64%的高管已将网络安全确定为生成式 AI 用例的首要任务。生成式 AI 在应用于网络安全领域时，会像其应用于企业其他领域一样成为业务加速器，在多个方面最大限度地利用安全团队的时间和人才。生成式 AI 可以代表分析师管理和自动执行重复、耗时的

13、任务，使他们能够专注于网络安全的更具战略意义的方面。生成式 AI 还可以通过简化复杂的技术性内容来提升安全专业人员的能力，使他们更快而且更容易地完成更具挑战性的任务。您在寻找生成式 AI 解决方案以在短期内增强安全运营时，需要考虑的一些特定用例包括：自动化报告：这些工具可以创建安全案例和事件的简单摘要，然后可以将摘要与组织中的各种安全和业务领导者共享。摘要可以根据他们的技术专长水平和感兴趣的领域进行定制。加速威胁搜寻：这些工具自动生成搜索以检测威胁，所有这些都基于对攻击行为和模式的自然语言描述，这有助于加快对新威胁的响应速度。解释机器生成的数据：为了帮助分析师快速理解安全日志数据，这些解决方案

14、对系统上发生的事件进行了简单的解释，从而加快了分析师的调查速度并降低了新员工的技术壁垒。整理威胁情报：生成式 AI 工具可以解释和总结最相关的威胁情报，根据客户独特的风险状况，筛选出最有可能影响客户的活动。展望未来，生成式 AI 还将能够学习和创建主动响应，并随时间推移对响应进行优化，例如，帮助安全团队发现所有类似的安全事件、更新所有受影响的系统、修补所有易受攻击的软件代码。03AI 如何充分发挥投入网络安全的时间和人才的作用12下一章上一章13上一章保护 AI：风险和建议04LLM 为企业用户提供的速度和易用性在大规模采用时是主要的网络安全风险。当工程师和分析师使用生成式 AI 来帮助创建代

15、码和开发软件脚本时，他们增加了 AI 可能没有接受过安全代码和实践训练的风险。对组织的潜在影响仓促的数据安全实践幻觉软件供应链风险数据泄露 黑匣效应仓促的数据安全实践企业急于使用 LLM，有时忽略了数据安全最佳实践和标准，包括加密、驻留和特权访问控制。软件供应链风险 企业可能会在错误的代码上进行构建和创新，这些代码通过从供应商那里购买的开源代码和商业软件组件汇编而成。行业中的常见故障和潜在可利用的软件缺陷可能会造成新的风险暴露水平。04保护 AI：风险和建议幻觉使用 LLM 生成的代码构建的软件有包含错误或幻觉的风险，可能会损害源代码的完整性和安全性。为防止此问题，您的组织应使用在多样化、平衡

16、且结构良好的数据上训练的 AI 模型。组织的 AI 工程师应尽可能具体地给出提示，以避免 AI 模型不得不做出假设或在缺乏细节的地方创建细节。而且他们应该接受培训，严格评估 LLM 生成的代码，以确保输出质量。14上一章04保护 AI：风险和建议15上一章数据泄露如果没有对第三方 AI 引擎进行适当的监督和治理，无论 AI 解决方案的数据分割或保留策略如何，组织都有将机密数据暴露给未授权用户的风险。新的提示注入和提示泄漏攻击可能会暴露敏感信息并削弱模型性能。黑匣效应部分 AI 处理发生在黑匣中，这意味着安全领导者及其团队会缺乏其所需的可见性、透明度和可解释性。如果不遵循正确的软件工程实践，这个

17、问题会带来特别的风险。至关重要的是，您的组织要有一套 AI 治理方法，可以帮助其跟踪模型生命周期中的性能，并解释模型如何以及为什么产生其所产生的结果。1604AI 框架的安全性构建值得信赖的 AI0416保护 AI：风险和建议随着采用 AI 规模的扩大和创新的发展，网络安全指南将趋于成熟。一个用于保护可信基础模型、生成式 AI 及其所基于的数据集的框架对于企业级 AI 至关重要。下面是一些应与安全团队分享的最佳治理和技术实践。04保护 AI：风险和建议17上一章保护数据保护 AI 训练数据免遭盗窃、操纵和违规行为。使用数据发现和分类来检测训练或微调中使用的敏感数据。在加密、访问管理和合规性监控

18、方面实施数据安全控制。使用防止数据丢失技术，通过提示和应用程序编程接口(API)防止敏感个人信息(SPI)、个人身份信息(PII)和受监管的数据泄露。保护模型通过扫描管道中的漏洞、强化集成以及实施策略和访问控制来保护 AI 模型开发。持续扫描 AI 和 ML 管道中的漏洞、恶意软件和损坏。发现并强化 API 和插件与第三方模型的集成。围绕 ML 模型、工件和数据集配置和实施策略、控制和基于角色的访问控制(RBAC)。确保使用安全通过检测数据或提示泄漏，并在规避、投毒、窃取或推理攻击时发出警报，确保 AI 模型的使用安全。监控恶意输入，例如提示注入和包含敏感数据或不当内容的输出。实施 AI 安全

19、解决方案，以检测和响应特定于 AI 的攻击，例如数据投毒、模型规避和模型窃取。开发响应运行手册以拒绝访问，并隔离和断开受感染的模型。04保护 AI：风险和建议18上一章保护基础架构在底层 AI 基础架构中扩展现有的网络安全策略和解决方案，包括威胁检测和响应、数据安全、身份欺诈和设备管理。部署基础架构安全控制措施，作为抵御对抗性访问 AI 的第一道防线。利用现有专业知识来优化分布式环境中的安全性、隐私性和合规性标准。围绕 AI 环境加强网络安全、访问控制、数据加密以及入侵检测和防御。投资专门为保护 AI 而设计的新安全防御措施。建立AI治理构建或购买值得信赖的 AI 需要具备 AI 治理框架，帮

20、助您指导、管理和监控组织的 AI 活动。无论您现有的数据科学平台如何，该框架都将增强您降低风险、管理监管要求和解决道德问题的能力。启用负责任、可解释、高质量且值得信赖的 AI 模型，并自动记录模型血缘和元数据。监控公平性、偏差和漂移，以检测是否需要重新训练模型。使用保护和验证来帮助实现公平、透明和合规的模型。自动记录模型资料以支持审计。自动化执行并整合多个工具、应用程序和平台，同时记录数据集、模型、相关元数据和管道的来源。04与 IBM 代表沟通您的独特网络安全需求，并讨论 AI 驱动解决方案如何能提供帮助。19上一章预约咨询会议了解 IBM 如何在其安全解决方案中使用 AI 1.When i

21、t comes to cybersecurity,fight fire with fire（谈到网络安全，要以毒攻毒），IBM 商业价值研究院，2023 年。2.IBM Consulting unveils Center of Excellence for generative AI（IBM Consulting 推出生成式 AI 卓越中心），IBM 博客，2023 年 5 月 25 日。3.Cost of a Data Breach Report 2023（2023 年数据泄露成本报告），IBM Security，2023 年 7 月。4.Media Advisory:Garbarino A

22、nnounces Hearing on Growing the National Cybersecurity Talent Pipeline（媒体通告：Garbarino 宣布举行关于扩大国家网络安全人才储备管道的听证会），国土安全委员会|共和党，2023 年 6 月 16 日。5.AI vs.human deceit:Unravelling the new age of phishing tactics（AI 与人的骗术：揭开网络钓鱼策略的新时代），IBM Security Intelligence，2023 年 10 月 24 日。6.Unmasking hypnotized AI:The

23、 hidden risks of large language models（揭开催眠 AI 的面纱：大型语言模型的隐藏风险），IBM Security Intelligence，2023 年 8 月 8 日。7.Global Security Operations Center Study Results（全球安全运营中心研究结果），IBM 委托 Morning Consult 进行的一项研究，2023 年 3 月。8.AI and automation for cybersecurity（面向网络安全的 AI 和自动化），IBM 商业价值研究院，2022 年 6 月 3 日。9.企业生成式

24、 AI：市场现状，2023 年，IBM 商业价值研究院。Copyright IBM Corporation 2023国际商业机器（中国）有限公司了解更多信息，欢迎访问我们的中文官网：https:/ CorporationNew Orchard RoadArmonk,NY 10504美国出品2023 年 12 月IBM、IBM 徽标和 X-Force 是 International Business Machines Corporation 在美国和/或其他国家或地区的商标或注册商标。其他产品和服务名称可能是 IBM 或其他公司的商标。IBM 商标的最新列表可参见 及所有基于 Java 的商标和

25、徽标都是 Oracle 和/或其附属公司的商标或注册商标。本文档为自最初公布日期起的最新版本，IBM 可能随时对其进行更改。IBM 并不一定在开展业务的所有国家或地区提供所有产品或服务。以上所有引用或描述的客户实例的展示取决于部分客户使用 IBM 产品的方式以及他们可能取得的结果。实际的环境成本和性能特征会因具体客户配置和情况而有所不同。无法提供通用的预期结果，因为每个客户的结果将完全取决于客户的系统和订购的服务。用户自行负责评估和验证任何其他产品或程序与 IBM 产品和程序搭配运行的情况。本文档内的信息“按现状”提供，不附有任何种类的（无论是明示的还是默示的）保证，包括不附有关于适销性、适用于某种特定用途的任何保证以及非侵权的任何保证或条件。IBM 产品根据其提供时所依据的协议条款和条件获得保证。良好安全措施声明：任何 IT 系统或产品都不应被视为完全安全，任何单一产品、服务或安全措施都不能完全有效防止不当使用或访问。IBM 不保证任何系统、产品或服务可免于或使您的企业免于受到任何一方恶意或非法行为的影响。客户负责确保对所有适用的法律和法规的合规性。IBM 不提供任何法律咨询，也不声明或保证其服务或产品确保客户遵循任何法律或法规。