《6-4 阿里云隐私计算工程化最佳实践.pdf》由会员分享,可在线阅读,更多相关《6-4 阿里云隐私计算工程化最佳实践.pdf(18页珍藏版)》请在三个皮匠报告上搜索。
1、阿里云隐私计算工程化最佳实践数智可信 有融乃大分享人:梁爱平目 录PART 01PART 02PART 03PART 04隐私计算工程化思考01PART 跨地域、跨机房、跨网络 不同的硬件资源 使用人员非专业运维人员 系统、流程、协议绝对安全 支持复杂的网络环境 降低用户非必要授权隐私计算工程的挑战 多版本代码维护和产品迭代 部署和升级操作简单 多端多版本的兼容 成本和性能如何折中 尽可能利用用户已有资源 智能优化计算和传输链路 支持各种定制数据源等 支持定制化的计算资源 支持定制化的传输通道工程化设计02PART解决方案联合洞察联合建模安全多方计算安全技术&理论差分隐私联邦机器学习软件技术S
2、GX硬件技术任务管理 API审批管理 API数据管理 API租户管理 API系统配置 APILibOS产品能力DataTrust产品定制化能力云上数据产品差分隐私&数据加噪PSI任务系统配置密钥配置计算资源配置审批管理服务任务审批租户审批任务管理服务租户管理服务项目管理用户管理DA任务训练任务预测任务联合预测商家数据产品数据管理服务元数据管理融合数据下载无量引擎(协议编译、任务调度、资源管理)无量工程框架数据审批模型审批本地计算引擎MaxCompute计算引擎Hadoop计算引擎Blink计算引擎云上协调中心(CSCC)本地安全计算中心(LSCC)执行算子(异构数据加载、异构传输通道、多语言协
3、议计算、业务自定义计算)同态加密算子执行环境(镜像容器、部署运行、服务发现、服务治理等)工程架构图混合云版本独立版本参与方A节点管控工作台安全计算引擎联邦学习系统设置安全调度执行框架多方安全计算隐匿查询任务管理项目管理数据中心运维管理K8S计算引擎本地计算引擎分布式计算引擎直 连获取指令参与方B节点管控工作台安全计算引擎联邦学习系统设置安全调度执行框架多方安全计算隐匿查询任务管理项目管理数据中心运维管理K8S计算引擎本地计算引擎分布式计算引擎获取指令指令、数据安全通道OSSKafa网络连接方式物理机/ECS一台:16核32G物理机/ECS一台:16核32G 混合云版本:使用云上分布式计算资源
4、独立版本:操作在一个端上p 稳定性较强p 运维成本较低p 安全防御性较高p 客户定制化诉求p 数据放在本地产品版本独立部署架构:客户私域CSCC+客户私域LSCCvCSCCLSCC任务审批管理多方任务调度引擎(SDF逻辑调度)本地调度执行引擎(SS协议调度)数据源管理系统配置元数据中心项目管理任务管理运维管理项目配置EventBusMinIO直连KafkaMaxCompute计算引擎本地计算引擎数据通道数据通道客户私域A客户私域B全局数据监控vLSCC任务审批管理本地调度执行引擎(SS协议调度)数据源管理系统配置MaxCompute计算引擎本地计算引擎数据传输通道事件通道云上部署架构:云上CS
5、CC+客户私域LSCCCSCC多方任务调度引擎(SDF逻辑调度)元数据中心项目管理任务管理运维管理项目配置OSS数据传输通道ODPS直连MQ命令通道LSCC任务审批管理本地调度执行引擎(SS协议调度)数据源管理系统配置本地计算引擎本地计算引擎命令通道数据通道数据通道客户私域A客户私域B公有云EventBus事件通道LSCC任务审批管理本地调度执行引擎(SS协议调度)数据源管理系统配置MaxCompute计算引擎本地计算引擎DataTrust模块插件化、适配多种异构环境配置源路由数据源路由计算引擎路由配置源插件本地数据库本地文件数据源插件MySQLRDSPostgreSQLODPS计算引擎插件O
6、DPS本地计算传输通道插件OSSMeta协议编译任务调度任务启动任务初始化协议编译任务调度任务初始化ODPSHologresHiveKafkaHadoopSpark专线RPC配置源路由数据源路由计算引擎路由配置源插件本地数据库本地文件数据源插件MySQLRDSPostgreSQLODPS计算引擎插件ODPS本地计算HologresHiveHadoopSpark落地实践03PART政务-服务 防疫跨部门协同,助力街道推进疫苗接种 精准定位:街道有居民个人ID(手机号或者身份证号)以及个人的住址信息;医院有疫苗接种所有名单。在保护个人隐私信息的前提下,社区街