03 刘歆轶 AIGC安全审计框架初探 v4_1123_脱敏.pdf

1、网络安全00FCis 2023创新大会AIGC安全审计框架初探建立人工智能时代的第三道防线非夕机器人刘款铁IREEBUF#page#ISREEBUFFCIS2023什么是AIGC自然语言处理，知识图诺，专家系统，基于规则系统遗传算法，符号推理人工智能聊天机器人，图像文字识别OCR，流程机器人RPA决策树，线性回归机器学习模式识别，图像识别，预测分析，情感分析31深度混合模型，深度生成模型，深度判别模型，神经网络深度学习川U生成敌对网络，变分自动编码器生成式AI内容生成AIGC#page#ISREEBUFFCIS 2023AIGC发展历程GmrsPanGu-20212PLUGHPrCLOVCPH

2、茶LaMDAFLANBL.OOM装T器本CodeBL0OMZAN Gnlak0000aOPTIML#page#公ISREEBUFFCIS 2023AIGC成熟度技术成熟度曲线是Gartner于1995年首次采用的、用于分析及预测各种新技术在关注度、市场预期和实际应用中的成熟度和发展趋势。该曲线将一项技术的发展分为了5个阶段：技术启动（innovationTrigger）：该技术开始获得媒体关注、产生奥论，但是可能没有实际的产品和应用。该技术的期望被过度放大。此期间可能会出现些成功案例，但更多的是失败的尝试。工作会开始对技术感到失望。并开始看到其潜在的效益。生产高地（PauofPProducti

3、vity）：该技术已经成熟且被广泛的理解和接受被大众所使用。#page#ISREEBUFFCIS 2023AIGC能做什么Jaspercopy,AChatGPT文本生成Bard: GTP4EditGAN: Deepfake图像生成AIGCDALL-E:Stable DiffusionDeepMusic WaveNet音频生成Deep Voice: MusicAutoBotDeepfake；VideoGPT视频生成GaCloudImagevideo#page#page#ISREEBUFFCIS 2023AIGC系统安全风险系统安全性（SystemicSafety）降低开危害（Hazard）弱性（

4、Vulnerability）X危害敲口（HazardExpo5U监测对齐鲁棒性（AUignment）（Monitoring）#page#福ISREEBUFFCIS 2023AIGC数据安全风险1数据采集阶段2数据处理阶段2个人隐私用户权利数据污染数据投毒攻过度采集知识产权击数据偏差和歧视3数据流通阶段4数据使用阶段数据交互数据孤岛关联分析还原攻击数据跨境对抗样本#page#今ISREEBUFFCIS 2023AIGC语料风险包含违反社会价无法满足特定服值观的内容务的安全需求包含岐视性内容侵犯他人合法权益商业违法违规#page#台ISREEBUFFCIS 2023语料来源审计要点语料来源管理方面

5、语料来源可追潮方面不同来源语料搭配方面是否建立了语料来源黑使用开源语料时，是否具有该话料来源的开源授权协议或是否具备来源多样性，对每一相关授权文件？名单，不使用黑名单来种语言，如中文、英文等？源的数据进行训练？使用自采语料时，是香具有采集记录，不应采集他人已明是否对每一种语料类型，如文确声明不可采集的语料？是否对各来源语料进行本、图片、视频、音频等，均安全评估？使用商业语料时：是否有具备法律效力的交易合同、合作有多个语料来源？协议等？单一来源语料内容中含是否合理搭配了境内外来源语将使用者输入信息当作语料时，是否具有使用者授权记录违法不良信息超过5%的，节是否将该来源加入黑名是否设定按照我国网络

6、安全相关法律要求阻断的信息拒绝单？作为训练语料？#page#售ISREEBUFFCIS 2023语料标注审计要点标注人员方面标注内容准确性方面标注规则方面标注规则是否包括标注目标、数据格式、标注方法、是否对标注人员进行考核，给对安全性标注，每一条标注语料质量指标等内容？予合格者标注资质，并有定期是否至少经由一名审核人员审核重新培训考核？通过？是否对功能性标注以及安全性标注制定了标注规则是否将标注人员划分出数据标标注规则是否覆盖数据标注以及数据审核等环节？对功能性标注，是否对每一批标注、数据审核等职能？注语料进行人工抽检，发现内容功能性标注规则是否能指导标注人员按照特定领域特在同一标注任务下，同