清华大学：智谱AI&2021联邦学习全球研究与应用趋势报告（95页）.pdf

《清华大学：智谱AI&amp2021联邦学习全球研究与应用趋势报告（95页）.pdf》由会员分享，可在线阅读，更多相关《清华大学：智谱AI&amp2021联邦学习全球研究与应用趋势报告（95页）.pdf（95页珍藏版）》请在三个皮匠报告上搜索。

1、论文摘要：现代移动设备可以访问大量适合学习模型的数据，这反过来又可以大大改善设备上的用户体验。例如，语言模型可以改进语音识别和文本输入，图像模型可以自动选择好的照片。然而，这些丰富的数据通常是隐私敏感的、数量庞大的，或者两者兼而有之，这可能会妨碍使用传统方法登录到数据中心并在那里进行训练。由此，学者们提出一种替代方案，将训练数据分布在移动设备上，并通过聚合本地计算的更新来学习共享模型，并将这种分布式方法称为联邦学习。本文提出了一种基于迭代模型平均的深度网络联邦学习的实用方法，并进行了广泛的实证评估，考虑五种不同的模型架构和四个数据集。实验表明，该方法对不平衡和非IID数据分布具有鲁棒性，这是该

2、设置的一个定义特征。通信成本是主要限制因素，与同步随机梯度下降相比，该方法显示所需的通信轮次减少10-100倍。论文摘要：联邦学习是一种机器学习设置，其目标是训练高质量的集中式模型，同时训练数据仍然分布在具有不可靠且相对较慢的网络连接的大量客户端上。本文考虑针对此设定的学习算法，在每一轮中，每个客户端根据其本地数据独立计算当前模型的更新，并将此更新传达给中央服务器，在那里客户端更新被聚合以计算新的全局模型。此设定中的典型客户端是手机，通信效率是最重要的。本文提出了两种降低上行链路通信成本的方法：一个是结构化更新，直接从使用较少数量变量参数化的受限空间中学习更新，例如低秩或随机掩码;另一个是草图

3、更新，学习完整的模型更新，然后在将其发送到服务器之前使用量化、随机旋转和子采样的组合对其进行压缩。在卷积网络和循环网络上的实验表明，本文所提出的方法可以将通信成本降低两个数量级。论文摘要：今天的人工智能仍然面临两大挑战。一是在大多数行业中，数据以孤岛的形式存在;另一个是加强数据隐私和安全。本文为这些挑战提出了一个可能的解决方案：安全联邦学习。除了谷歌在2016年首次提出的联邦学习框架之外，本文还引入了一个全面的安全联邦学习框架，其中包括横向联邦学习、纵向联邦学习和联邦迁移学习。本文提供了联邦学习框架的定义、体系结构和应用程序，并提供了关于这个主题的现有工作全面调查。此外，还提出了在组织间建立基于联邦机制的数据网络，作为在不损害用户隐私的前提下实现知识共享的有效解决方案。