对生成式AI工作负载进行威胁建模以评估安全风险.pdf

《对生成式AI工作负载进行威胁建模以评估安全风险.pdf》由会员分享，可在线阅读，更多相关《对生成式AI工作负载进行威胁建模以评估安全风险.pdf（36页珍藏版）》请在三个皮匠报告上搜索。

1、 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。对生成式AIAI的工作负载进行威胁建模以评估安全性风险陈昇波高级解决方案架构师亚马逊云科技 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。开发者的故事我目前正在服用什么药物？你一年前开始服用治疗心悸的普萘洛尔。在这里聊天?2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。威胁IDID威胁声明缓解措施优先级STRIDESTRIDE模模型型T-001一

2、个可访问面向公众的应用程序的外部威胁行为体可能会注入能够改写现有系统提示词的恶意提示词，导致其他患者的医疗保健数据被返回，影响数据库中数据的机密性M-001:通过系统提示词定义可接受的用途M-002:清理已知参数M-003:预定义并检查可接受的SQL语句M-004:验证输出与用户相关高级身份假冒,信息泄露T-002一个能够向大语言模型系统提交内容的威胁行为体可能会在该内容中嵌入恶意提示词，操纵大语言模型采取有害行为，损害大语言模型系统和连接资源的完整性和可用性MM-005005:输入验证和清理MM-006006:隔离外部内容MM-007007:限制大语言模型访问外部系统高级身份假冒,信息泄露，

3、权限提升T-003一个能够与大语言模型系统交互的威胁行为体可能会利用输出数据的编码处理不足，导致XSS或代码注入，从而降低用户数据的机密性和/或完整性MM-008008:对输出数据进行编码，以防止意外的代码执行MM-009009:输出验证和清理MM-010010:使用CORS限制中级身份假冒,信息泄露 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。什么是威胁建模？S H O S TA C K 的 四 个 问 题 框 架 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。我们在做什么?2024,Amazon Web Se

4、rvices,Inc.或其附属公司。保留所有权利。我们在做什么?Amazon Lambda我目前正在服用什么药物？你一年前开始服用治疗心悸的普萘洛尔。在这里聊天用户Amazon CloudFrontAmazon S3(聊天机器人网站)Amazon API 网关Amazon BedrockAmazon RDS 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。数据库网站API逻辑大语言模型数据流程图用户导航到网站11逻辑从大语言模型请求SQL查询4442用户在客户端发送提示词2API向逻辑发送提示词33向用户返回最终的大语言模型反馈6666逻辑查询数据库并将结

5、果返回给大语言模型5555 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。会出现什么问题？2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。会出现什么问题?我们在做什么?业务背景威胁建模框架现有威胁信息 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。威胁建模框架示例：STRIDESpoofing身份假冒Tampering 纂改Repudiation 抵赖Information disclosure 信息泄露Denial of service 拒绝服务Elevation of pr

6、ivilege 权限提升 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。会出现什么问题?我们在做什么?业务背景威胁建模框架现有威胁信息攻击步骤威胁声明 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。会出现什么问题?客户客户的健康数据生成对客户健康数据的查询关于健康数据的提示词数据库网站API逻辑大语言模型 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。会出现什么问题?未经授权的用户恶意提示词