大型深度神经网络的联合培训通常可以受到限制，因为将更新与增加模型大小进行交流的成本增加。在集中设置中设计了各种模型修剪技术，以减少推理时间。将集中的修剪技术与联合培训相结合似乎是降低沟通成本的直观 - 通过在沟通步骤之前修剪模型参数。此外，在培训期间，这种渐进的模型修剪方法也可以减少培训时间/成本。为此，我们提出了FedSparsify，该公司在联合培训期间执行模型修剪。在我们在集中式和联合的设置中对大脑年龄预测任务的实验（估计一个人的年龄从大脑MRI估算），我们证明，即使在具有高度异构数据的高度异质数据的挑战性的联盟学习环境中，也可以将模型最多可修剪高达95％的稀疏性，而不会影响表现。分布。模型修剪的一个令人惊讶的好处是改进的模型隐私。我们证明，具有高稀疏性的模型不太容易受到会员推理攻击的影响，这是一种隐私攻击。

联合学习（FL）可以通过各种不同远程数据源的机器学习模型的分布式计算，而无需将任何单独的数据传输到集中位置。这导致改进的模型的完全性，并且随着更多来源和较大的数据集被添加到联合中的计算和计算的有效缩放。然而，最近的成员攻击表明，当模型参数或摘要统计数据与中央站点共享时，有时可以泄露或推断出私有或敏感的个人数据，需要改进的安全解决方案。在这项工作中，我们提出了一种使用全同性全相治（FHE）的安全FL框架。具体而言，我们使用CKKS构造，近似浮点兼容方案，这些方案受益于密文包装和重新扫描。在我们对大型脑MRI数据集的评估中，我们使用建议的安全流动框架来培训深度学习模型，以预测分布式MRI扫描的一个人的年龄，一个共同的基准测试任务，并证明在学习表现中没有降级在加密和非加密的联合模型之间。

在某些情况下，与机器学习问题有关的数据分布在多个位置，这些位置由于监管，竞争力或隐私原因无法共享数据。需要将数据复制到单个位置的机器学习方法受到数据共享挑战的阻碍。联合学习（FL）是一种在孤岛上所有可用数据的联合模型的有前途的方法。在许多情况下，参与联邦的站点具有不同的数据分布和计算功能。在这些异质环境中，现有的方法表现出较差的性能：同步FL协议是有效的，但学习收敛缓慢，能源成本高；相反，异步FL协议具有更快的收敛性，其能源成本较低，但沟通较高。在这项工作中，我们引入了一种新型的节能半同步联合学习方案，该协议将本地模型定期与最小的闲置时间和快速收敛混合在一起。我们通过在计算机视觉域以及现实世界中生物医学设置中建立的基准数据集进行了广泛的实验，我们的方法在数据和计算异质环境中的先前工作显着优于先前的工作。

联合学习允许多方协作，在不共享本地数据的情况下协作培训联合模型。这使得机器学习在固有的分布式的，诸如医疗领域中的固有分布式的未差异数据的设置中的应用。在实践中，通常通过聚合当地模型来实现联合培训，其中当地培训目标必须与联合（全球）目标相似。然而，通常，当地数据集是如此之小，即当地目标从全球目标差异很大，导致联合学习失败。我们提出了一种新的方法，它与本地模型的排列交织在一起。排列将每个本地模型暴露给当地数据集的菊花链，导致数据稀疏域中的更有效培训。这使得能够培训极小的本地数据集，例如跨医院的患者数据，同时保留联合学习的培训效率和隐私效益。

语音情感识别（SER）处理语音信号以检测和表征表达的感知情绪。许多SER应用系统经常获取和传输在客户端收集的语音数据，以远程云平台进行推理和决策。然而，语音数据不仅涉及在声乐表达中传达的情绪，而且还具有其他敏感的人口特征，例如性别，年龄和语言背景。因此，塞尔系统希望能够在防止敏感和人口统计信息的意外/不正当推论的同时对情感构建进行分类的能力。联合学习（FL）是一个分布式机器学习范例，其协调客户端，以便在不共享其本地数据的情况下协同培训模型。此培训方法似乎是安全的，可以提高SER的隐私。然而，最近的作品表明，流动方法仍然容易受到重建攻击和会员推论攻击等各种隐私攻击的影响。虽然这些大部分都集中在计算机视觉应用程序上，但是使用FL技术训练的SER系统中存在这种信息泄漏。为了评估使用FL培训的SER系统的信息泄漏，我们提出了一个属性推理攻击框架，其分别涉及来自共享梯度或模型参数的客户端的敏感属性信息，分别对应于FEDSGD和FADAVG训练算法。作为一种用例，我们使用三个SER基准数据集来统一地评估我们预测客户的性别信息的方法：IEMocap，Crema-D和MSP-EXPLA。我们表明，使用FL培训的SER系统可实现属性推理攻击。我们进一步确定大多数信息泄漏可能来自SER模型中的第一层。

联合学习中的隐私（FL）以两种不同的粒度进行了研究：项目级，该项目级别保护单个数据点和用户级别，该数据点保护联邦中的每个用户（参与者）。几乎所有的私人文献都致力于研究这两种粒度的隐私攻击和防御。最近，主题级隐私已成为一种替代性隐私粒度，以保护个人（数据主体）的隐私（数据主题），其数据分布在跨索洛FL设置中的多个（组织）用户。对手可能有兴趣通过攻击受过训练的模型来恢复有关这些人（又称emph {data主体}）的私人信息。对这些模式的系统研究需要对联邦的完全控制，而实际数据集是不可能的。我们设计了一个模拟器，用于生成各种合成联邦配置，使我们能够研究数据的属性，模型设计和培训以及联合会本身如何影响主题隐私风险。我们提出了\ emph {主题成员推理}的三个攻击，并检查影响攻击功效的联邦中所有因素之间的相互作用。我们还研究了差异隐私在减轻这种威胁方面的有效性。我们的收获概括到像女权主义者这样的现实世界数据集中，对我们的发现赋予了信任。

对网络攻击的现代防御越来越依赖于主动的方法，例如，基于过去的事件来预测对手的下一个行动。建立准确的预测模型需要许多组织的知识； las，这需要披露敏感信息，例如网络结构，安全姿势和政策，这些信息通常是不受欢迎的或完全不可能的。在本文中，我们探讨了使用联合学习（FL）预测未来安全事件的可行性。为此，我们介绍了Cerberus，这是一个系统，可以为参与组织的复发神经网络（RNN）模型进行协作培训。直觉是，FL可能会在非私有方法之间提供中间地面，在非私有方法中，训练数据在中央服务器上合并，而仅训练本地模型的较低性替代方案。我们将Cerberus实例化在从一家大型安全公司的入侵预防产品中获得的数据集上，并评估其有关实用程序，鲁棒性和隐私性，以及参与者如何从系统中贡献和受益。总体而言，我们的工作阐明了将FL执行此任务的积极方面和挑战，并为部署联合方法以进行预测安全铺平了道路。

Neural network pruning has been a well-established compression technique to enable deep learning models on resource-constrained devices. The pruned model is usually specialized to meet specific hardware platforms and training tasks (defined as deployment scenarios). However, existing pruning approaches rely heavily on training data to trade off model size, efficiency, and accuracy, which becomes ineffective for federated learning (FL) over distributed and confidential datasets. Moreover, the memory- and compute-intensive pruning process of most existing approaches cannot be handled by most FL devices with resource limitations. In this paper, we develop FedTiny, a novel distributed pruning framework for FL, to obtain specialized tiny models for memory- and computing-constrained participating devices with confidential local data. To alleviate biased pruning due to unseen heterogeneous data over devices, FedTiny introduces an adaptive batch normalization (BN) selection module to adaptively obtain an initially pruned model to fit deployment scenarios. Besides, to further improve the initial pruning, FedTiny develops a lightweight progressive pruning module for local finer pruning under tight memory and computational budgets, where the pruning policy for each layer is gradually determined rather than evaluating the overall deep model structure. Extensive experimental results demonstrate the effectiveness of FedTiny, which outperforms state-of-the-art baseline approaches, especially when compressing deep models to extremely sparse tiny models.

高效联合学习是在边缘设备上培训和部署AI模型的关键挑战之一。然而，在联合学习中维护数据隐私提出了几种挑战，包括数据异质性，昂贵的通信成本和有限的资源。在本文中，我们通过（a）通过基于本地客户端的深度增强学习引入突出参数选择代理的上述问题，并在中央服务器上聚合所选择的突出参数，（b）分割正常的深度学习模型〜 （例如，CNNS）作为共享编码器和本地预测器，并通过联合学习训练共享编码器，同时通过本地自定义预测器将其知识传送到非IID客户端。所提出的方法（a）显着降低了联合学习的通信开销，并加速了模型推断，而方法（b）则在联合学习中解决数据异质性问题。此外，我们利用梯度控制机制来校正客户之间的梯度异质性。这使得训练过程更稳定并更快地收敛。实验表明，我们的方法产生了稳定的训练过程，并与最先进的方法相比实现了显着的结果。在培训VGG-11时，我们的方法明显降低了通信成本最高108 GB，并在培训Reset-20时需要7.6美元的通信开销，同时通过减少高达39.7 \％$ 39.7 \％$ vgg- 11.

Deep neural networks are susceptible to various inference attacks as they remember information about their training data. We design white-box inference attacks to perform a comprehensive privacy analysis of deep learning models. We measure the privacy leakage through parameters of fully trained models as well as the parameter updates of models during training. We design inference algorithms for both centralized and federated learning, with respect to passive and active inference attackers, and assuming different adversary prior knowledge.We evaluate our novel white-box membership inference attacks against deep learning algorithms to trace their training data records. We show that a straightforward extension of the known black-box attacks to the white-box setting (through analyzing the outputs of activation functions) is ineffective. We therefore design new algorithms tailored to the white-box setting by exploiting the privacy vulnerabilities of the stochastic gradient descent algorithm, which is the algorithm used to train deep neural networks. We investigate the reasons why deep learning models may leak information about their training data. We then show that even well-generalized models are significantly susceptible to white-box membership inference attacks, by analyzing stateof-the-art pre-trained and publicly available models for the CIFAR dataset. We also show how adversarial participants, in the federated learning setting, can successfully run active membership inference attacks against other participants, even when the global model achieves high prediction accuracies.

联邦学习（FL）是利用属于患者，人，公司或行业的敏感数据的合适解决方案，这些数据在刚性隐私约束下工作的难题。 FL主要或部分地支持数据隐私和安全问题，并提供促进促进多个边缘设备或组织的模型问题的替代方案，以使用许多本地数据培训全局模型而不具有它们。由其分布式自然引起的FL的非IID数据具有显着的性能下降和稳定性偏斜。本文介绍了一种新颖的方法，通过增强图像动态平衡客户端的数据分布，以解决FL的非IID数据问题。介绍的方法非常稳定模型培训，并将模型的测试精度从83.22％提高到89.43％，对于高度IID FL设定中的胸部X射线图像的多胸疾病检测。 IID，非IID和非IID的结果，联合培训表明，该方法可能有助于鼓励组织或研究人员开发更好的系统，以获得与数据隐私的数据的价值不仅适用于医疗保健，而且领域。

通常利用机器学习方法并有效地将智能电表读数从家庭级别分解为设备级消耗，可以帮助分析用户的电力消耗行为并启用实用智能能源和智能网格申请。最近的研究提出了许多基于联邦深度学习（FL）的新型NILM框架。但是，缺乏综合研究，探讨了不同基于FL的NILM应用程序方案中的实用性优化方案和隐私保护方案。在本文中，我们首次尝试通过开发分布式和隐私的尼尔姆（DP2-NILM）框架来进行基于FL的NILM，重点关注实用程序优化和隐私保护，并在实用的NILM场景上进行比较实验基于现实世界的智能电表数据集。具体而言，在实用程序优化方案（即FedAvg和FedProx）中检查了两种替代联合学习策略。此外，DP2-NILM提供了不同级别的隐私保证，即联合学习的当地差异隐私学习和联合的全球差异隐私学习。在三个现实世界数据集上进行了广泛的比较实验，以评估所提出的框架。

Mobile traffic prediction is of great importance on the path of enabling 5G mobile networks to perform smart and efficient infrastructure planning and management. However, available data are limited to base station logging information. Hence, training methods for generating high-quality predictions that can generalize to new observations on different parties are in demand. Traditional approaches require collecting measurements from different base stations and sending them to a central entity, followed by performing machine learning operations using the received data. The dissemination of local observations raises privacy, confidentiality, and performance concerns, hindering the applicability of machine learning techniques. Various distributed learning methods have been proposed to address this issue, but their application to traffic prediction has yet to be explored. In this work, we study the effectiveness of federated learning applied to raw base station aggregated LTE data for time-series forecasting. We evaluate one-step predictions using 5 different neural network architectures trained with a federated setting on non-iid data. The presented algorithms have been submitted to the Global Federated Traffic Prediction for 5G and Beyond Challenge. Our results show that the learning architectures adapted to the federated setting achieve equivalent prediction error to the centralized setting, pre-processing techniques on base stations lead to higher forecasting accuracy, while state-of-the-art aggregators do not outperform simple approaches.

联邦学习（FL）引起了人们对在存储在多个用户中的数据中启用隐私的机器学习的兴趣，同时避免将数据移动到偏离设备上。但是，尽管数据永远不会留下用户的设备，但仍然无法保证隐私，因为用户培训数据的重大计算以训练有素的本地模型的形式共享。最近，这些本地模型通过不同的隐私攻击（例如模型反演攻击）构成了实质性的隐私威胁。作为一种补救措施，通过保证服务器只能学习全局聚合模型更新，而不是单个模型更新，从而开发了安全汇总（SA）作为保护佛罗里达隐私的框架。尽管SA确保没有泄漏有关单个模型更新超出汇总模型更新的其他信息，但对于SA实际上可以提供多少私密性fl，没有正式的保证；由于有关单个数据集的信息仍然可以通过在服务器上计算的汇总模型泄漏。在这项工作中，我们对使用SA的FL的正式隐私保证进行了首次分析。具体而言，我们使用共同信息（MI）作为定量度量，并在每个用户数据集的信息上可以通过汇总的模型更新泄漏有关多少信息。当使用FEDSGD聚合算法时，我们的理论界限表明，隐私泄漏量随着SA参与FL的用户数量而线性减少。为了验证我们的理论界限，我们使用MI神经估计量来凭经验评估MNIST和CIFAR10数据集的不同FL设置下的隐私泄漏。我们的实验验证了FEDSGD的理论界限，随着用户数量和本地批量的增长，隐私泄漏的减少，并且随着培训回合的数量，隐私泄漏的增加。

联合学习（FL）在许多分散的用户中训练全球模型，每个用户都有本地数据集。与传统的集中学习相比，FL不需要直接访问本地数据集，因此旨在减轻数据隐私问题。但是，由于推理攻击，包括成员推理，属性推理和数据反演，FL中的数据隐私泄漏仍然存在。在这项工作中，我们提出了一种新型的隐私推理攻击，创造的偏好分析攻击（PPA），它准确地介绍了本地用户的私人偏好，例如，最喜欢（不喜欢）来自客户的在线购物中的（不喜欢）项目和最常见的表达式从用户的自拍照中。通常，PPA可以在本地客户端（用户）的特征上介绍top-k（即，尤其是k = 1、2、3和k = 1）的偏好。我们的关键见解是，本地用户模型的梯度变化对给定类别的样本比例（尤其是大多数（少数）类别的样本比例具有明显的敏感性。通过观察用户模型对类的梯度敏感性，PPA可以介绍用户本地数据集中类的样本比例，从而公开用户对类的偏好。 FL的固有统计异质性进一步促进了PPA。我们使用四个数据集（MNIST，CIFAR10，RAF-DB和PRODUCTS-10K）广泛评估了PPA的有效性。我们的结果表明，PPA分别达到了MNIST和CIFAR10的90％和98％的TOP-1攻击精度。更重要的是，在实际的购物商业商业场景（即产品-10k）和社交网络（即RAF-DB）中，PPA在前一种情况下，PPA获得了78％的TOP-1攻击精度，以推断出最有序的物品（即作为商业竞争对手），在后一种情况下，有88％来推断受害者用户最常见的面部表情，例如恶心。

联合学习（FL）可以从云到资源限制的边缘设备分发机器学习工作负载。遗憾的是，当前的深网络不仅对边缘设备的推理和培训造成了太重，而且对于在带宽约束网络上传送更新，也太大了。在本文中，我们开发，实施和实验验证了所谓的联合动态稀疏训练（FEDDST）的新型FL框架，通过该训练可以通过该培训和培训复杂的神经网络，在设备上计算和网络内通信中具有基本上提高的效率。在FEDDST的核心是一个动态过程，可以从目标完整网络中提取和列出稀疏子网。通过这个方案，“两只鸟类用一块石头杀死：”而不是完整的模型，每个客户端都会对自己的稀疏网络进行有效的培训，并且在设备和云之间仅传输稀疏网络。此外，我们的结果表明，在流动训练期间的动态稀疏性更灵活地容纳比固定的共用稀疏面具的局部异质性。此外，动态稀疏性自然地引入了培训动态的“时间自化效应”，即使通过密集训练也会提高流程。在一个现实和挑战的非I.I.D。 FL Setting，FEDDST始终如一地优于我们的实验中的竞争算法：例如，在非IID CIFAR-10上的任何固定上传数据帽时，在给定相同的上传数据帽时，它会在FedVGM上获得令人印象深刻的精度优势;即使在上传数据帽2倍，也可以进一步展示FEDDST的疗效，即使FEDAVGM为2X，即使将FEDAVGM提供精度差距也会保持3％。代码可用：https://github.com/bibikar/feddst。

联合学习是一个新兴的研究范式，用于在不共享患者数据的情况下启用协作培训深层学习模型。然而，来自不同机构的数据通常在机构中是异构的，这可能会降低使用联合学习培训的模型的性能。在这项研究中，我们提出了一种新的异质性感知联邦学习方法，克萨诸塞州，克服了联邦学习中数据异质性的性能下降。与需要复杂启发式培训或超参数调整的之前的联合方法不同，我们的Splitavg利用简单的网络分割和特征映射串联策略，以鼓励联合模型培训目标数据分布的无偏估计。我们使用七个最先进的联合学习方法进行比较Splitavg，使用中央托管的培训数据作为基准在综合和现实世界联邦数据集的套件上。我们发现，使用所有比较联合学习方法训练的模型的性能随着数据异质性的增加而显着降低。相比之下，SplitavG方法在所有异质设置下实现了与基线方法的可比结果，即它达到了糖尿病视网膜病变二进制分类数据集和骨骼年龄预测数据集的基线所获得的精度的96.2％和110.4％的平均绝对误差分别在高度异构的数据分区上。我们得出结论，拆分方法可以有效地克服跨机构数据分布的可变性的性能下降。实验结果还表明，Splitavg可以适用于不同的基础网络并广泛地到各种类型的医学成像任务。

联合学习（FL）提供了一个有效的范式，可以共同培训分布式用户的数据的全球模型。由于本地培训数据来自可能不值得信赖的不同用户，因此一些研究表明，FL容易受到中毒攻击的影响。同时，为了保护本地用户的隐私，FL始终以差异性私人方式（DPFL）进行培训。因此，在本文中，我们问：我们是否可以利用DPFL的先天隐私权来提供对中毒攻击的认证鲁棒性？我们可以进一步改善FL的隐私以改善这种认证吗？我们首先研究了FL的用户级和实例级别的隐私，并提出了新的机制以获得改进的实例级隐私。然后，我们提供两个鲁棒性认证标准：两级DPFL的认证预测和认证攻击成本。从理论上讲，我们证明了DPFL在有限数量的对抗用户或实例下的认证鲁棒性。从经验上讲，我们进行了广泛的实验，以在对不同数据集的一系列攻击下验证我们的理论。我们表明，具有更严格的隐私保证的DPFL总是在认证攻击成本方面提供更强的鲁棒性认证，但是在隐私保护和公用事业损失之间的适当平衡下，获得了最佳认证预测。

Federated Learning (FL) has been widely accepted as the solution for privacy-preserving machine learning without collecting raw data. While new technologies proposed in the past few years do evolve the FL area, unfortunately, the evaluation results presented in these works fall short in integrity and are hardly comparable because of the inconsistent evaluation metrics and experimental settings. In this paper, we propose a holistic evaluation framework for FL called FedEval, and present a benchmarking study on seven state-of-the-art FL algorithms. Specifically, we first introduce the core evaluation taxonomy model, called FedEval-Core, which covers four essential evaluation aspects for FL: Privacy, Robustness, Effectiveness, and Efficiency, with various well-defined metrics and experimental settings. Based on the FedEval-Core, we further develop an FL evaluation platform with standardized evaluation settings and easy-to-use interfaces. We then provide an in-depth benchmarking study between the seven well-known FL algorithms, including FedSGD, FedAvg, FedProx, FedOpt, FedSTC, SecAgg, and HEAgg. We comprehensively analyze the advantages and disadvantages of these algorithms and further identify the suitable practical scenarios for different algorithms, which is rarely done by prior work. Lastly, we excavate a set of take-away insights and future research directions, which are very helpful for researchers in the FL area.

由于对个人数据隐私的不断增长和当地客户的迅速增长的数据量，Federated Learnated（FL）的动机已成为新的机器学习设置。 FL系统由中央参数服务器和多个本地客户端组成。它将数据保留在本地客户端，并通过共享本地学到的模型参数来学习集中式模型。不需要共享本地数据，并且可以很好地保护隐私。然而，由于它是模型而不是共享的原始数据，因此系统可以暴露于恶意客户端发起的中毒模型攻击。此外，由于服务器上没有本地客户端数据，因此确定恶意客户端是一项挑战。此外，仍然可以使用上载模型估算客户本地数据，从而导致隐私披露。在这项工作中，我们首先提出了一个基于模型更新的联合平均算法，以防御拜占庭式攻击，例如加性噪声攻击和弹药攻击。提出了单个客户模型初始化方法，以通过隐藏各个本地机器学习模型来提供进一步的隐私保护。在结合这两个方案时，隐私和安全性都可以有效地增强。当没有攻击时，提出的方案被证明在非IID数据分布下实验会收敛。在拜占庭式攻击下，提议的方案的表现要比基于经典模型的FedAvg算法要好得多。