打造新质安全能力 为新质生产力的发展保驾护航.pdf

《打造新质安全能力 为新质生产力的发展保驾护航.pdf》由会员分享，可在线阅读，更多相关《打造新质安全能力 为新质生产力的发展保驾护航.pdf（20页珍藏版）》请在三个皮匠报告上搜索。

1、目 录CONTENTS新质生产力新质生产力是创新起主导作用，摆脱传统经济增长方式、生产力发展路径，具有高科技、高效能、高质量特征，符合新发展理念的先进生产力质态。新质生产力带来重大机遇与挑战213数字化精确可控智能化效率提升创新驱动技术、商业模式的持续变革三大特点机遇挑战人工智能成为新工具人工智能在知识创造和科学技术创新中扮演关键角色，推动人机协同和技术创新。生产效能提升生活便利舒适管理精准可控社会安全稳定AI大模型内生安全问题AI大模型被用于攻击AI大模型应用衍生风险云网基础设施安全风险（云安全、软件安全）亟待构建与新质生产力安全发展匹配的新质安全能力01020304新模式对象多重属性（AI

2、：安全工具+原生安全）（数据：训练原料+生成结果）安全多层级网状交互新关系网络统一身份智能中枢感知云网边端防护新架构安全数据集安全模型算法AI开源框架安全知识图谱新要素05动态防护敏捷发现精确洞察新效能防护与训练分离动态评估信任机制能力不断自我增强大模型时代AI应用自身面临多重风险数据采集!数据处理!训练阶段!推理阶段!集成阶段!关键风险要素数据安全敏感数据泄漏数据投毒攻击数据重构攻击传统数据防护被图谱，导致个人信息和隐私泄露恶意样本注入或训练数据标签信息被修改敏感信息被攻击者通过分析模型输出实现恢复或推断模型窃取攻击模型劫持攻击后门攻击prompt攻击海绵样本攻击模型被攻击者通过一定量询问后

3、，模拟得到相似功能模型模型功能被攻击者掌握并被控制完成设定目标模型被植入特定后门恶意指令被作为输入提示的一部分导致模型被操纵恶意数据被使用增加模型延迟和能源消耗，破坏模型可用性供应链安全部署运行安全开源模型/开源数据、计算环境等AI涉及的供应链上下游风险模型部署和运行时的易发生模型窃取、恶意使用等问题算法安全环境安全应用安全大模型滥用加剧网络安全风险大模型加持社会工程学攻击利用大语言模型生成极具说服力和个性化的网络钓鱼电子邮件、虚假信息 与2022年相比，2023 年网络钓鱼攻击激增了 58.2%（数据来源：ThreatLabz 2024 Phishing Report）WormGPT 恶意大

4、模型工具用来发起高级网络钓鱼攻击大模型辅助开发恶意软件和工具使用大语言模型在开发恶意软件和工具的生命周期中进行辅助开发 Proofpoint 的研究人员观察到针对德国数十个行业的攻击链的一个恶意软件投放器是由人工智能（AI）生成的。EscapeGPT 和 LoopGPT等“越狱大模型即服务”新型产业链出现大模型混淆异常流量监测规避大语言模型可以混淆恶意攻击产生的流量与正常流量融合，规避检测系统大模型优化攻击负载构造借助大语言模型，创建并完善用于网络攻击部署的有效载荷生成内容人机难辨大模型大幅提升生成内容的质和数，人们难以辨别内容来源数据泄露范围扩大模型训练数据、用户使用数据、隐私数据等多种数据

5、泄露攻击威胁演变大模型扩大了攻击面，衍生出新攻击向量，攻击威胁复杂性增加反应窗口期缩短大模型促使传统回合制攻防对抗转变为即时网络对抗 情报库失效。大模型动态生成新行为、样本，传统基于情报库的安全策略失守。传统防护设施效率大幅降低。防火墙、网关等外围防护已无法解决大模型自身脆弱性、价值对齐和外部智能化攻击问题。追踪溯源困难。大模型内部运作机制与外界隔绝，阻碍了决策透明。当模型做出错误决策或造成负面影响时，难以找到源头，是模型本身的缺陷？还是数据的偏差？或是人为的操作？审计问责困难。大模型的“黑箱”特性给审计和问责带来了巨大的挑战，难以审计模型是否符合相关标准和规范，也无法追究模型开发者和使用者的

6、责任。大模型广泛应用下传统安全防护面临全新挑战云网基础设施因新技术应用面临新型安全威胁以持续集成和持续交付（CI/CD）特征的供应链风险加剧人工智能和量子计算加剧暴力攻击 人工智能为暴力攻击提供自动化工具和算力能力，近两年我国算力增速保持50%以上的高增长 量子计算形成对现有加密算法的暴力破解威胁，可快速破解云网安全加密的核心，导致云端存储数据泄露 CI/CD（持续集成和持续交付）环境极易成为攻击目标，从npm服务仓库和python代码，到管道执行（PPE），都可能是攻击者发起攻击的新目标新质技术与云的融合，云安全威胁多维演变，亟需构建智能化、高可信的云安全防御体系云上暴力攻击呈显著上升态势，