4-5 差分隐私原理以及在数据安全中的应用.pdf

1、差分隐私原理以及在数据安全中的应用刘勇 中国人民大学 副教授 博导|0101隐私保护的挑战隐私保护的挑战0303差分差分隐私算法隐私算法0202差分隐私原理差分隐私原理0404差分差分隐私应用隐私应用目录|0505前景与展望前景与展望隐私保护的挑战01|隐私保护的挑战：数据隐私|大数据时代，个人数据隐私成为了广泛关注的问题社交信息医疗信息金融信息隐私问题！隐私保护的挑战:数据隐私|姓名姓名出生地出生地年龄年龄喜好喜好存款存款xxx北京市19舞蹈2w匿名化方法：敏感数据库（匿名保护）隐私保护的挑战:数据隐私|姓名姓名性别性别出生地出生地星座星座年龄年龄喜好喜好小明男山东省水瓶座25篮球小红女北京

2、市天蝎座19舞蹈姓名姓名出生地出生地年龄年龄喜好喜好存款存款xxx北京市19舞蹈2w匿名化方法：非敏感数据库（无匿名保护）敏感数据库（匿名保护）隐私保护的挑战:数据隐私|姓名姓名性别性别出生地出生地星座星座年龄年龄喜好喜好小明男山东省水瓶座25篮球小红女北京市天蝎座19舞蹈姓名姓名出生地出生地年龄年龄喜好喜好存款存款xxx北京市19舞蹈2w匿名化方法：非敏感数据库（无匿名保护）敏感数据库（匿名保护）在可以获取到外部数据库的情况下，匿名化方法往往无法提供良好的个人敏感信息保护隐私保护的挑战：模型隐私|在机器学习领域，如果不发布训练数据，而只发布训练模型，个人隐私会得到有效的保证吗？隐私保护的挑战

3、：模型隐私|在机器学习领域，如果不发布训练数据，而只发布训练模型，个人隐私会得到有效的保证吗？机器学习模型也会遭受多种攻击，导致敏感信息泄露Model Inversion Attacks Matt Fredrikson et al.CCS 2015Membership Inference Attacks Reza Shokri et al.S&P 2017隐私保护的挑战：模型隐私|在机器学习领域，如果不发布训练数据，而只发布训练模型，个人隐私会得到有效的保证吗？机器学习模型也会遭受多种攻击，导致敏感信息泄露Model Inversion Attacks Matt Fredrikson et a

4、l.CCS 2015Membership Inference Attacks Reza Shokri et al.S&P 2017需求：有数学保证的隐私保护方法隐私保护的挑战:差分隐私|更加严格的、更加数学化的隐私保护方法：差分隐私差分隐私可以有效屏蔽诸如多种攻击手段:Membership Inference Attack Michael Backes et al.(SIGSAC 2016)Attribute Inference AttackNicholas Carlini et al.(USENIX 2019)Memorization Attack Bargav Jayaraman and

5、David Evans(USENIX 2019)差分隐私原理02|差分隐私:原理|数据集D数据集D模型A模型B训练训练攻击者or如果攻击者对任意,都无法判断模型A，B是由哪个数据集训练得到的，那么个人数据隐私就是有保证的。？则称该算法满足-差分隐私。差分隐私：定义|如果数据集,中仅有一条数据样本不同，则称它们互为相邻数据集，记作。如果在相邻数据集,上，对于算法值域中的所有事件，即 ()，满足如下不等式：差分隐私的数学定义要求算法在相邻数据集上的输出分布具有相似性 相似性越大，越小，所对应的模型隐私性越强 ()差分隐私：原理|那么，如何保证攻击者无法分辨由相邻数据集,训练得到的模型？差分隐私：原

6、理|那么，如何保证攻击者无法分辨由相邻数据集,训练得到的模型？添加适当的随机噪声传统方法训练得到的机器学习模型随机噪声满足差分隐私定义的机器学习模型差分隐私算法03|差分隐私：算法|有三种添加随机噪声的方式以保证模型的差分隐私性 输出扰动=argmin(;),=+噪声差分隐私：算法|有三种添加随机噪声的方式以保证模型的差分隐私性 输出扰动=argmin(;,),=+目标函数扰动;=;+,=argmin;噪声噪声差分隐私：算法|有三种添加随机噪声的方式以保证模型的差分隐私性 输出扰动=argmin(;,),=+目标函数扰动;,;=;,+,=argmin;,