范涛-联邦学习在金融领域的落地和应用.pdf

1、联邦学习在金融领域的落地和应用范涛微众银行人工智能部联邦学习研发负责人，人工智能资深研究员当前国内大数据行业发展面临的挑战联邦学习一站式解决方案联邦学习商业化落地思考数据新基建“十九届四中全会：党中央首次提出将数据作为生产要素参与收益分配”监管趋严数据合作困境跨机构间数据合作受阻消费信贷公司A大数据公司B机构内跨部门间数据中台建立困难重重支付部门贷款部门保险部门数据中台数据？No数据？No数据？No如何破局数据-生产资料联邦学习-生产关系人工智能-生产力当前国内大数据行业发展面临的挑战联邦学习一站式解决方案联邦学习商业化落地思考隐私计算技术体系数据“所有权”和“使用权”分离数据可用不可见用途可

2、控可度量隐私计算软件硬件多方安全计算（MPC）联邦学习（FL）可信硬件（TEE）9将草从各地集中到一起喂羊，并不合规隐私和数据安全保护的要求使得获取数据成为障碍联邦学习提供了新思路：让羊群在各地移动，而草不出本地，主人无法知道它吃了哪些草联邦学习：数据不动，模型动纵向联邦学习-联合建模需求场景举例：企业A与企业B联合建模，企业B有Y（业务表现），期望优化本方的Y预测模型设定：企业B拥有 Y=“逾期表现”企业A无法暴露含有隐私的 X传统建模方法问题：企业A缺乏Y无法独立建模企业A数据全量传输到企业B不可行期望结果：保护隐私条件下，建立联合模型联合模型效果超过单边数据建模横向联邦学习-联合建模需求

3、场景举例：银行A和银行B共建反洗钱模型，期望优化反洗钱模型设定：Y 表示“是否存在洗钱行为”银行A和银行B都有（X,Y）双方不暴露自己的（X,Y）传统建模方法问题：银行A和银行B各自样本不够多期望结果：保护隐私条件下，建立联合模型联合模型效果超过单边数据建模联邦学习一站式解决方案企业解决方案层核心应用组件层核心框架层FATE：工业级联邦学习开源框架FATE是微众银行人工智能团队发起的全球首个联邦学习工业级开源框架，可以让企业和机构在保护数据安全和数据隐私的前提下进行数据协作FATE于2019年2月首次对外开源，并于2019年6月捐献给Linux基金会，并成立FATE TSC对FATE社区进行开

4、源治理，成员包含国内主要云计算和金融服务企业核心功能包括联邦特征工程，联邦统计，联邦机器学习，联邦深度学习，联邦迁移学习等FATE开源治理FATE 社区概况570+家企业机构，350+所高校7个FATE社群3000+人3200+GitHub Star TSC（技术管理委员会）成员信通院信通院隐私计算白皮书（隐私计算白皮书（2021年）年）发布，发布，根据白皮书中国信通院的调研，根据白皮书中国信通院的调研，55%的国内隐的国内隐私计算产品是基于或者参考开源项目开发，这私计算产品是基于或者参考开源项目开发，这其中开源项目就以其中开源项目就以FATE为主。为主。微众银行联邦学习标准建设【国际标准】发

5、布全球第一个联邦学习相关国际标准IEEE P3652.1IEEE Guide for Architectural Framework and Application of Federated Machine Learning【国内标准】参与编写已发布标准：参与信通院基于多方安全计算的数据流通产品技术要求与测试方法，联邦学习技术与应用，隐私计算 跨平台互联互通 第1部分：总体框架标准编写金融行业标准：参与央行金融标准化委员会多方安全计算金融应用技术规划的标准微众银行联邦学习产品安全认证FATE开源社区里程碑 2019-20212019：社区初创，功能丰富阶段2020：社区生态快速发展阶段2021

6、：企业级产品和标准快速推进阶段FATE-ML：机器学习遇见安全计算FATE-MLLogisticRegressionGBDTDNN.同态加密秘密分享安全聚合.安全计算协议机器学习算法库横向联邦：传统机器学习算法可以无缝接入安全协议，低成本实现联邦机制纵向联邦：满足高性能，可用性，机器学习实现联邦机制需定制联邦协议FATE-ML：纵向样本对齐PSIID set YID set XParty AParty Bu1,u2,u3,u4u1,u2,u3,u5如何寻找交集:=u1,u2,u3？满足条件：Party A 不知道Party B 有 u5 Party B 不知道 Party A 有u4解决方案：