安世加：深入浅出谈联邦学习（25页）.pdf

《安世加：深入浅出谈联邦学习（25页）.pdf》由会员分享，可在线阅读，更多相关《安世加：深入浅出谈联邦学习（25页）.pdf（25页珍藏版）》请在三个皮匠报告上搜索。

1、滴滴出行-武天旭目 录231联邦学习背景图解联邦学习联邦学习展望当下的困局-数据孤岛我想让公司的服务体验更好、更智能该咋办？可以通过机器学习训练一些好的人工智能模型来改善基本上是的，于是数据孤岛就产生了面对这么多问题，是不是大家都不愿意相互共享数据了？与第三方共享数据有以下问题：1.合规上：存在N多隐私合规限制2.安全上：数据脱手将会失去掌控3.效益上：不同体量共享的公平性4.与外部第三方共享数据会有什么问题？可以与外部第三方共享数据来实现训练人工智能模型需要大量数据从哪来？困局解决之道-联邦学习数据不动模型动数据可用不可见可突破隐私合规限制可实现数据安全可控可解决企业算力不足可解决收益分配不

2、公其他各种优势联邦学习架构图解-客户服务器架构本地数据训练模型训练结果中心服务器(云)(可信)本地数据训练模型训练结果至少2个参与方1、中心服务器将初始模型下发给参与方3、初始模型在本地完成训练4、将训练结果（权重参数或梯度）发送给中心服务器5、中心服务器收到各方结果后进行聚合计算（如联邦平均算法），得到全新的全局模型6、将聚合后的全新模型重新发送给各参与方7、使用本地数据更新新下发的模型（此时本地数据也已更新）2、使用本地数据更新初始模型8、更新模型在本地完成训练9、将新的训练结果（权重参数或梯度）发送给中心服务器参与方参与方训练终止条件：1.模型收敛（达到期望效果）2.达到最大迭代次数3.

3、达到最长训练时间图解-对等网络架构本地数据训练模型训练结果2、其中一个参与方使用本地数据更新初始模型3、模型在本地完成初始训练参与方至少2个参与方4、将训练结果（权重参数或梯度）发送给任意一个参与方，下一个参与方以此结果作为输入本地数据训练模型训练结果参与方本地数据训练模型训练结果参与方本地数据训练模型训练结果参与方5、收到上一个参与方的输入，在此基础上继续训练6、模型在本地完成更新训练7、将训练结果随机发送给下一个参与方，以此重复。由于累加，需要更多的算力及传输更多的中间临时结果8、训练终止条件：1.模型收敛（达到期望效果）2.达到最大迭代次数3.达到最长训练时间9、训练结束后，在评估最终学

4、习模型性能时，将其中一个参与方来充当协调方1、其中一个参与方来充当服务方，下发初始模型图解-环形架构本地数据训练模型训练结果2、其中一个参与方使用本地数据更新初始模型3、模型在本地完成初始训练参与方至少2个参与方4、将训练结果（权重参数或梯度）发送给下一个参与方，下一个参与方以此结果作为输入本地数据训练模型训练结果参与方本地数据训练模型训练结果参与方本地数据训练模型训练结果参与方5、收到上一个参与方的输入，在此基础上继续训练6、模型在本地完成更新训练7、将训练结果发送给下一个参与方，以此重复。由于累加，需要更多的算力及传输更多的中间临时结果8、训练终止条件：1.模型收敛（达到期望效果）2.达到

5、最大迭代次数3.达到最长训练时间9、训练结束后，在评估最终学习模型性能时，将其中一个参与方来充当协调方1、其中一个参与方来充当服务方，下发初始模型联邦学习效率图解-设备异构与效率问题参与方A参与方B参与方C设备：终端手机网络：3G算力指数：通信指数：如何在保证性能不下降的前提下，有效提升联邦学习的训练效率呢？参与方D设备：个人笔记本网络：Wi-Fi算力指数：通信指数：设备：台式机网络：网线算力指数：通信指数：设备：云服务器网络：专线算力指数：通信指数：中心服务器(云）设备异构导致的性能差异太大了！联邦学习模型的效率成为了瓶颈！图解-联邦学习效率提升方法中心服务器(云)本地数据训练模型训练结果参

6、与方【增加通信间隔】本地更新多次后，才和中心服务器通信一次【有监督集成】只考虑一部分参与者上传的本地模型，筛选算法：a.参与方本地验证数据达到合格基准时才上传模型，合格基准由中心服务器预先设定，服务器挑选达到合格基准的前N个最佳本地模型来聚合b.参与方训练本地模型的基础数据达到一定量级时才上传模型，量级由中心服务器预先设定，服务器挑选量级前N的本地模型来聚合【只传输模型更新部分】和中心服务器通信时，只传输模型的更新部分，原有部分不传输【模型压缩】通过网络剪枝、去除冗余权重参数、深度梯度压缩等算法，压缩模型，这样不仅减少了模型参数的传输量，还提升了安全性【非对称的推送和获取】推送和获取的次数比例