光影照进现实AI物理攻防的那些事儿-zhaodali-腾讯安全朱雀实验室AI安全研究员（29页）.pdf

1、光影照进现实：光影照进现实：AIAI物理攻防的那些事儿物理攻防的那些事儿zhaodali腾讯安全朱雀实验室AI安全研究员光影照进现实：光影照进现实：AIAI物理攻防的那些事儿物理攻防的那些事儿zhaodali腾讯安全朱雀实验室AI安全研究员关于我们腾讯安全朱雀实验室：由腾讯安全平台部在2019年成立，专注于AI安全技术研究及应用，围绕对抗机器学习、AI模型安全、深伪检测等方面取得了一系列研究成果，议题入选ICLR、CanSecWest、HITB、POC、XCon、CIS等国内外顶级会议，面向行业发布了业内首个AI安全威胁风险矩阵，持续聚焦AI在产业应用的安全问题，助力AI安全技术创新。03 光

2、影攻击实践02 AI物理对抗攻击发展04 AI对抗攻击防御05 总结01 农业AI系统02 工业03 金融04 医学AI与安全：AI的成功应用AI内生安全（AI challenges security）AI虽然带来了生产力的提升，但也带来了新的安全隐患AI模型的数据准备、模型训练、模型部署等各个环节都面临层出不穷的攻击AI算法安全(Zhou W,Hou X,Chen Y,Tang M,et al.,ECCV 2018)AI 数据安全(Mengyun Tang,Jiqiang Gao et al.,HITB 2021)AI与安全：内生安全 最大化特征距离，加入正则化提升黑盒迁移性 探索联邦学习中

3、梯度数据泄露的风险，研究模型鲁棒性与数据隐私之间的关系 使用预训练方法学习payload中的安全经验 使用注意力机制定位对检测结果有影响的有效负载 使用推荐模型对候选字符的概率进行排序Deep-xRay:Using AI to Steal WAF Protection Rules(Keyun Luo,Xun Su,et,al.,CIS 2020)将意图隐藏在一个大的输入空间中 使用CNN提取上下文特征 使用BiLSTM网络生成有效载荷序列 autoencoder纠正生成的有效载荷并修复少量可能的错误代码Deep-Fuzzing:Binary code intention hiding base

4、d on AI Uninterpretability(Keyun Luo,Jifeng Zhu,et,al.,HITB 2021)AI与安全：赋能安全AI赋能安全（AI enables security）AI作为一种工具，赋能传统安全领域(Mengyun Tang,Dylan Di et al.,CanSecWest 2021)(Mengyun Tang,Ge Pei et al.,CanSecWest 2020)AI与安全：AI滥用AI滥用风险（AI Abuse）AI是一把双刃剑AI已经被黑灰产利用，造成生命财产损失 基于VoIP协议漏洞对VoIP电话进行监听，基于少量说话人素材，模拟被攻击

5、者声音进行语音通话VoIP电话劫持+语音克隆深度伪造攻击与防御AI与安全：AI安全威胁风险矩阵AI安全威胁风险矩阵 为了评估人工智能系统的安全风险，我们建立了第一个人工智能安全ATT&CK矩阵 欢迎访问：https:/aisecmatrix.org/01 AI与安全03 光影攻击实践04 AI对抗攻击防御05 总结对抗攻击危害性大：输入的微小扰动可对输出造成较大干扰覆盖范围广：覆盖视觉、语音、NLP等各个场景（Goodfellow I J,et al.,2014.Explaining and harnessing adversarial Examples）AI物理对抗攻击发展AI物理对抗攻击发

6、展数字攻击物理攻击降低了数据接触的难度攻击难度大更贴近AI系统的真实应用场景需访问并修改AI系统的输入数据真实AI系统中，数据接触难（Brown T B,Man D,Roy A,et al.,2017.Adversarial Patch）（Goodfellow I J,et al.,2014.Explaining and harnessing adversarial Examples）当前光影攻击的局限性：实操性较差：一些攻击需要有针对性地进行优化，流程繁杂鲁棒性较弱：容易受到环境等因素的影响Song D,Eykholt K,Evtimov I,et al.Physical adversari