2019年大数据交易与处理中的数据脱敏技术研究.pdf

《2019年大数据交易与处理中的数据脱敏技术研究.pdf》由会员分享，可在线阅读，更多相关《2019年大数据交易与处理中的数据脱敏技术研究.pdf（26页珍藏版）》请在三个皮匠报告上搜索。

1、商业脱敏系统方案基于加密的数据脱敏基于失真的数据脱敏数据脱敏指标数据脱敏的有效性从可逆性体现，数据方法可通过变换参数和变换偏移值体现数据属性可逆性部分知识可逆不可逆变换参数绝对值相对值偏移值常量随机值数据脱敏的有效性从可逆性体现，数据方法可通过变换参数和变换偏移值体现数据属性可逆性部分知识可逆不可逆变换参数绝对值相对值偏移值常量随机值得知部分初始数据、或可逆的脱敏方法、或脱敏使用的伪随机数生成器及种子，可推演出原始数据例：yi=xi+constantyi=f(xi)yi=xi+random_number数据脱敏的有效性从可逆性体现，数据方法可通过变换参数和变换偏移值体现数据属性可逆性部分知识可

2、逆不可逆变换参数绝对值相对值偏移值常量随机值参与变换的数值与原始数值相关，比如为原始数据的百分比参与变换的数值与原始数据无关数据脱敏的有效性从可逆性体现，数据方法可通过变换参数和变换偏移值体现数据属性可逆性部分知识可逆不可逆变换参数绝对值相对值偏移值常量随机值 最终用户关注数据的聚合结果，不关注个体数据 聚合结果：患某种疾病的人数 个体数据：某个病人患该疾病 问题：提取聚合结果的时候可能披露个体数据 患某种疾病的人数为N 病人名字不为A，患某种疾病的病人的人数为M 基于失真的数据脱敏技术：在破坏个体隐私数据的基础上，不影响数据的聚合结果 阻塞 随机化 对原始数据不引入虚假噪声，仅泛化处理对原始

3、数据不引入虚假噪声，仅泛化处理 典型方法典型方法1 1：离散化：离散化 属性值被离散化到各个区间 区间大小不能等长 使用区间作为属性来参与运算 如：张三的年龄为25岁，使用区间20,30表征张三的年龄 典型方法典型方法2 2：使用“：使用“?”替代数据中的某些属性”替代数据中的某些属性 同一区间内的值表征形式一致，脱敏后聚合准确率低 不同应用需要设计特定算法对处理后的数据进行处理 随机化随机化 实际数据：实际数据：x xi i 使用使用x xi i+r+r,r r是符合某个分布的随机值是符合某个分布的随机值 均匀分布均匀分布r 均匀分布于-,+，平均值为0 高斯分布高斯分布r 符合高斯分布 均

4、值(r)为0 标准方差为高斯分布均匀分布概率x定义:原始数据值:x1,x2,xn 随机失真变量:y1,y2,yn 失真样本:x1+y1,x2+y2,xn+ynFY:随机失真变量yi的累计分布函数CDFFX:原始数据值xi的累计分布函数CDF重构问题：给定失真样本(x1+y1,xn+yn)，FY 估算FX 使用贝叶斯定律运算FX:1.初始化f(x,0)：均匀分布2.自j=0到终止条件3.根据f(x,j)和 FY计算f(x,j+1)4.满足条件终止，得到 FX终止条件：1.计算f(x,j).2.当f(x,j+1)与f(x,j)之间的差值非常小时实验结果表明：重构后的数据分布与原始数据分布基本一致，

5、即使随机数据样本分布与原始数据相差甚远 通过添加随机噪声扰乱失真敏感数据 随机数必须随机！分布必须准确！原始值未知，以保护数据敏感信息 数据脱敏后，能够准确获得聚合分类结果（支持决策树等）有实验认为：在高置信度的情况下，高斯分布的随机噪声比均匀分布效果好 其他相关研究 期望最大化（Expectation Maximization）算法 同态加密算法：A way to delegate processing of your data,without giving away access to it.（Craig Gentry）他人可对加密数据进行处理，但处理过程中不会泄露原始数据 基于同态加密的

6、数据脱敏技术：用户将数据进行同态加密后，提交给数据中心存储 数据中心需要对数据进行分析处理时，可在不知道用户数据的前提下正确处理数据 同态加密算法：A way to delegate processing of your data,without giving away access to it.（Craig Gentry）他人可对加密数据进行处理，但处理过程中不会泄露原始数据 基于同态加密的数据脱敏技术：用户将数据进行同态加密后，提交给数据中心存储 数据中心需要对数据进行分析处理时，可在不知道用户数据的前提下正确