对于大多数现有的联合学习算法，每一轮都包括最大程度地减少每个客户端的损失功能，以在客户端学习最佳模型，然后在服务器上汇总这些客户端模型。客户端的模型参数的点估计并未考虑到每个客户端估计的模型中的不确定性。但是，在许多情况下，尤其是在有限的数据设置中，考虑到客户模型中的不确定性以实现更准确和健壮的预测是有益的。不确定性还为其他重要任务提供了有用的信息，例如主动学习和分布（OOD）检测。我们提出了一个贝叶斯联合学习的框架，每个客户都使用其培训数据侵入后验预测分布，并提出各种方法，以在服务器上汇总这些特定于客户端的预测分布。由于交流和汇总预测分布可能具有挑战性且昂贵，因此我们的方法基于将每个客户的预测分布提炼成一个深层的神经网络。这使我们能够利用标准联合学习的进步，也可以为贝叶斯联邦学习。与最近试图估算每个客户模型不确定性的最近作品不同，我们的工作也没有做出任何限制性假设，例如客户后分布的形式。我们评估了我们在联合环境中的分类方法，以及在联邦设置中的积极学习和OOD检测，我们的方法在其上优于各种现有的联合学习基线。
translated by 谷歌翻译
做出强大的预测是一个重要的挑战。联邦学习（FL）中的一个单独挑战是减少交流回合的数量，尤其是因为这样做会降低异质数据设置的性能。为了解决这两个问题，我们对学习全球模型的问题有贝叶斯的看法。我们展示了如何使用客户预测性后代近似全局预测后验。这与其他作品不同，该作品将局部模型空间后代汇总到全局模型空间后部，并且由于后部的高维多模式性质而易受高近似误差的影响。相比之下，我们的方法对预测后期进行了聚集，由于输出空间的低维度，通常更容易近似。我们基于此想法提出了一种算法，该算法在每个客户端对MCMC采样进行了进行估计，然后在一轮中汇总它们以获得全局合奏模型。通过对多个分类和回归任务的经验评估，我们表明，尽管使用了一轮通信，但该方法与其他FL技术具有竞争力，并且在异质环境上的表现优于它们。该代码可在https://github.com/hasanmohsin/fedpredspace_1 round上公开获得。
translated by 谷歌翻译
将知识蒸馏应用于个性化的跨筒仓联合学习，可以很好地减轻用户异质性的问题。然而，这种方法需要一个代理数据集，这很难在现实世界中获得。此外，基于参数平均的全球模型将导致用户隐私的泄漏。我们介绍了一个分布式的三位玩家GaN来实现客户之间的DataFree共蒸馏。该技术减轻了用户异质性问题，更好地保护用户隐私。我们证实，GaN产生的方法可以使联合蒸馏更有效和稳健，并且在获得全球知识的基础上，共蒸馏可以为各个客户达到良好的性能。我们对基准数据集的广泛实验证明了与最先进的方法的卓越的泛化性能。
translated by 谷歌翻译
联合学习使多个数据中心能够协作培训中心模型，而无需公开任何机密数据。尽管确定性模型能够执行高预测准确性，但它们缺乏校准和量化不确定性的能力对于安全至关重要的应用是有问题的。与确定性模型不同，诸如贝叶斯神经网络之类的概率模型相对良好，能够量化不确定性以及其竞争性预测准确性。两种方法都出现在联邦学习框架中。但是，确定性模型的聚合方案不能直接应用于概率模型，因为权重对应于分布而不是点估计。在这项工作中，我们研究了各种聚合方案对变异贝叶斯神经网络的影响。通过三个图像分类数据集的经验结果，我们观察到，汇总分布的传播程度是学习过程中的重要因素。因此，我们提出了有关如何在联合学习中结合变异贝叶斯网络的问题的调查，同时为不同的聚合设置提供了基准。
translated by 谷歌翻译
在现实世界应用中，联合学习（FL）遇到了两个挑战：（1）可伸缩性，尤其是应用于大型物联网网络时； （2）如何使用异质数据对环境进行健全。意识到第一个问题，我们旨在设计一个名为Full-Stack FL（F2L）的新型FL框架。更具体地说，F2L使用层次结构架构，使扩展FL网络可以访问而无需重建整个网络系统。此外，利用层次网络设计的优势，我们在全球服务器上提出了一种新的标签驱动知识蒸馏（LKD）技术来解决第二个问题。与当前的知识蒸馏技术相反，LKD能够训练学生模型，该模型由所有教师模型的良好知识组成。因此，我们提出的算法可以有效地提取区域数据分布（即区域汇总模型）的知识，以减少客户在使用非独立分布数据的FL系统下操作时客户模型之间的差异。广泛的实验结果表明：（i）我们的F2L方法可以显着提高所有全球蒸馏的总体FL效率，并且（ii）F2L随着全球蒸馏阶段的发生而迅速达到收敛性，而不是在每个通信周期中提高。
translated by 谷歌翻译
一方（服务器）培训的检测模型可能会在分发给其他用户（客户）时面临严重的性能降解。例如，在自主驾驶场景中，不同的驾驶环境可能会带来明显的域移动，从而导致模型预测的偏见。近年来出现的联合学习可以使多方合作培训无需泄漏客户数据。在本文中，我们专注于特殊的跨域场景，其中服务器包含大规模数据，并且多个客户端仅包含少量数据。同时，客户之间的数据分布存在差异。在这种情况下，传统的联合学习技术不能考虑到所有参与者的全球知识和特定客户的个性化知识的学习。为了弥补这一限制，我们提出了一个跨域联合对象检测框架，名为FedOD。为了同时学习不同领域的全球知识和个性化知识，拟议的框架首先执行联合培训，以通过多教老师蒸馏获得公共全球汇总模型，并将汇总模型发送给每个客户端以供应其个性化的个性化模型本地模型。经过几轮沟通后，在每个客户端，我们可以对公共全球模型和个性化本地模型进行加权合奏推理。通过合奏，客户端模型的概括性能可以胜过具有相同参数量表的单个模型。我们建立了一个联合对象检测数据集，该数据集具有基于多个公共自主驾驶数据集的显着背景差异和实例差异，然后在数据集上进行大量实验。实验结果验证了所提出的方法的有效性。
translated by 谷歌翻译
由于参与客户的异构特征，联邦学习往往受到不稳定和缓慢的收敛。当客户参与比率低时，这种趋势加剧了，因为从每个轮的客户收集的信息容易更加不一致。为了解决挑战，我们提出了一种新的联合学习框架，这提高了服务器端聚合步骤的稳定性，这是通过将客户端发送与全局梯度估计的加速模型来引导本地梯度更新来实现的。我们的算法自然地聚合并将全局更新信息与没有额外的通信成本的参与者传达，并且不需要将过去的模型存储在客户端中。我们还规范了本地更新，以进一步降低偏差并提高本地更新的稳定性。我们根据各种设置执行了关于实际数据的全面实证研究，与最先进的方法相比，在准确性和通信效率方面表现出了拟议方法的显着性能，特别是具有低客户参与率。我们的代码可在https://github.com/ninigapa0 / fedagm获得
translated by 谷歌翻译
随着对用户数据隐私的越来越关注，联合学习（FL）已被开发为在边缘设备上训练机器学习模型的独特培训范式，而无需访问敏感数据。传统的FL和现有方法直接在云服务器的同一型号和培训设备的所有边缘上采用聚合方法。尽管这些方法保护了数据隐私，但它们不能具有模型异质性，甚至忽略了异质的计算能力，也可以忽略陡峭的沟通成本。在本文中，我们目的是将资源感知的FL汇总为从边缘模型中提取的本地知识的集合，而不是汇总每个本地模型的权重，然后将其蒸馏成一个强大的全局知识，作为服务器模型通过知识蒸馏。通过深入的相互学习，将本地模型和全球知识提取到很小的知识网络中。这种知识提取使Edge客户端可以部署资源感知模型并执行多模型知识融合，同时保持沟通效率和模型异质性。经验结果表明，在异质数据和模型中的通信成本和概括性能方面，我们的方法比现有的FL算法有了显着改善。我们的方法将VGG-11的沟通成本降低了102美元$ \ times $和Resnet-32，当培训Resnet-20作为知识网络时，最多可达30美元$ \ times $。
translated by 谷歌翻译
联合学习的一个关键挑战是客户之间的数据异质性和失衡，这导致本地网络与全球模型不稳定的融合之间的不一致。为了减轻局限性，我们提出了一种新颖的建筑正则化技术，该技术通过在几个不同级别上接管本地和全球子网，在每个本地模型中构建多个辅助分支通过在线知识蒸馏。该提出的技术即使在非IID环境中也可以有效地鲁棒化，并且适用于各种联合学习框架，而不会产生额外的沟通成本。与现有方法相比，我们进行了全面的经验研究，并在准确性和效率方面表现出显着的性能提高。源代码可在我们的项目页面上找到。
translated by 谷歌翻译
我们介绍了一个新颖的联合学习框架FedD3，该框架减少了整体沟通量，并开放了联合学习的概念，从而在网络受限的环境中进行了更多的应用程序场景。它通过利用本地数据集蒸馏而不是传统的学习方法（i）大大减少沟通量，并（ii）将转移限制为一击通信，而不是迭代的多路交流来实现这一目标。 FedD3允许连接的客户独立提炼本地数据集，然后汇总那些去中心化的蒸馏数据集（通常以几个无法识别的图像，通常小于模型小于模型），而不是像其他联合学习方法共享模型更新，而是允许连接的客户独立提炼本地数据集。在整个网络上仅一次形成最终模型。我们的实验结果表明，FedD3在所需的沟通量方面显着优于其他联合学习框架，同时，根据使用情况或目标数据集，它为能够在准确性和沟通成本之间的权衡平衡。例如，要在具有10个客户的非IID CIFAR-10数据集上训练Alexnet模型，FedD3可以通过相似的通信量增加准确性超过71％，或者节省98％的通信量，同时达到相同的准确性与其他联合学习方法相比。
translated by 谷歌翻译
联邦学习（FL）的稳健性对于分布式培训的准确全球模型的分布式培训至关重要。通过典型聚合模型更新的协作学习框架容易受到来自对抗客户的中毒攻击。由于全局服务器和参与者之间的共享信息仅限于模型参数，因此检测错误的模型更新是挑战性的。此外，现实世界数据集通常在参与者中异质且不独立，并且不独立，并且在非IID中分布（非IID），这使得这种稳健的流水线更加困难。在这项工作中，我们提出了一种新颖的鲁棒聚集方法，联邦鲁棒自适应蒸馏（Fedrad），以检测基于中值统计的属性的对手和鲁棒地聚合本地模型，然后执行适应的集合知识蒸馏。我们运行广泛的实验，以评估拟议的方法对最近公布的作品。结果表明，FEDRAD在存在对手的情况下表现出所有其他聚合器，以及异构数据分布。
translated by 谷歌翻译
由于客户之间缺乏数据和统计多样性，联合学习从模型过度适应的巨大挑战面临巨大的挑战。为了应对这些挑战，本文提出了一种新型的个性化联合学习方法，该方法通过贝叶斯变异推断为pfedbayes。为了减轻过度拟合，将重量不确定性引入了客户和服务器的神经网络。为了实现个性化，每个客户端通过平衡私有数据的构建错误以及其KL Divergence与服务器的全局分布来更新其本地分布参数。理论分析给出了平均泛化误差的上限，并说明了概括误差的收敛速率是最小到对数因子的最佳选择。实验表明，所提出的方法在个性化模型上的表现优于其他高级个性化方法，例如Pfedbayes在MNIST，FMNIST和NON-I.I.I.D下，Pfedbayes的表现分别超过其他SOTA算法的其他SOTA算法的表现为1.25％，0.42％和11.71％。有限的数据。
translated by 谷歌翻译
联邦学习对分布式数据利用率和隐私保护表达了极大的潜力。大多数现有的联合学习方法侧重于监督设置，这意味着存储在每个客户端中的所有数据都有标签。但是，在现实世界应用中，客户数据无法完全标记。因此，如何利用未标记的数据应该是联邦学习的新挑战。虽然一些研究正在试图克服这一挑战，但它们可能会遭受信息泄漏或误导性信息使用问题。为了解决这些问题，在本文中，我们提出了一种名为Fedtrinet的新型联合半监督学习方法，该方法由两个学习阶段组成。在第一阶段，我们使用带有FADVG的标记数据预先列教Fedtrinet。在第二阶段，我们的目标是使大部分未标记的数据来帮助模型学习。特别是，我们建议使用三个网络和动态质量控制机制来为未标记数据产生高质量的伪标签，该数据被添加到训练集中。最后，Fedtrinet使用新的训练设置来重新培训模型。在三个公共数据集上的实验结果表明，提出的Fedtrinet在IID和非IID设置下优于最先进的基线。
translated by 谷歌翻译
自从联合学习（FL）被引入具有隐私保护的分散学习技术以来，分布式数据的统计异质性是实现FL应用中实现稳健性能和稳定收敛性的主要障碍。已经研究了模型个性化方法来克服这个问题。但是，现有的方法主要是在完全标记的数据的先决条件下，这在实践中是不现实的，由于需要专业知识。由部分标记的条件引起的主要问题是，标记数据不足的客户可能会遭受不公平的性能增益，因为他们缺乏足够的本地分销见解来自定义全球模型。为了解决这个问题，1）我们提出了一个新型的个性化的半监督学习范式，该范式允许部分标记或未标记的客户寻求与数据相关的客户（助手代理）的标签辅助，从而增强他们对本地数据的认识； 2）基于此范式，我们设计了一个基于不确定性的数据关系度量，以确保选定的帮助者可以提供值得信赖的伪标签，而不是误导当地培训； 3）为了减轻助手搜索引入的网络过载，我们进一步开发了助手选择协议，以实现有效的绩效牺牲的有效沟通。实验表明，与其他具有部分标记数据的相关作品相比，我们提出的方法可以获得卓越的性能和更稳定的收敛性，尤其是在高度异质的环境中。
translated by 谷歌翻译
个性化联合学习（FL）旨在协作学习每个客户的机器学习模型。尽管已经朝这个方向取得了希望，但大多数现有方法的工作都不允许进行不确定性量化，这在许多应用中至关重要。此外，跨设备设置中的个性化仍然涉及重要问题，尤其是对于新客户或少量观察的客户。本文旨在填补这些空白。为此，我们提出了一种新颖的方法，通过将个性化的FL重新铸造到人群建模范式中，其中客户的模型涉及固定的共同种群参数和随机效应，旨在解释数据异质性。为了获得我们的方案的融合保证，我们引入了一类新的联合随机优化算法，该算法依赖于马尔可夫链蒙特卡洛方法。与现有的个性化FL方法相比，所提出的方法具有重要的好处：对客户漂移是可靠的，对于推断新客户，最重要的是，在轻度的计算和内存开销中可以不确定性量化。我们为拟议算法提供非质合会收敛的保证，并说明了它们在各种个性化联合学习任务上的表现。
translated by 谷歌翻译
近年来，个性化联邦学习（PFL）引起了越来越关注其在客户之间处理统计异质性的潜力。然而，最先进的PFL方法依赖于服务器端的模型参数聚合，这需要所有模型具有相同的结构和大小，因此限制了应用程序以实现更多异构场景。要处理此类模型限制，我们利用异构模型设置的潜力，并提出了一种新颖的培训框架，为不同客户使用个性化模型。具体而言，我们将原始PFL中的聚合过程分为个性化组知识转移训练算法，即KT-PFL，这使得每个客户端能够在服务器端维护个性化软预测以指导其他人的本地培训。 KT-PFL通过使用知识系数矩阵的所有本地软预测的线性组合更新每个客户端的个性化软预测，这可以自适应地加强拥有类似数据分布的客户端之间的协作。此外，为了量化每个客户对他人的个性化培训的贡献，知识系数矩阵是参数化的，以便可以与模型同时培训。知识系数矩阵和模型参数在每轮梯度下降方式之后的每一轮中可替代地更新。在不同的设置（异构模型和数据分布）下进行各种数据集（EMNIST，Fashion \ _Mnist，CIFAR-10）的广泛实验。据证明，所提出的框架是第一个通过参数化群体知识转移实现个性化模型培训的联邦学习范例，同时实现与最先进的算法比较的显着性能增益。
translated by 谷歌翻译
空中接入网络已被识别为各种事物互联网（物联网）服务和应用程序的重要驾驶员。特别是，以无人机互联网为中心的空中计算网络基础设施已经掀起了自动图像识别的新革命。这种新兴技术依赖于共享地面真理标记的无人机（UAV）群之间的数据，以培训高质量的自动图像识别模型。但是，这种方法将带来数据隐私和数据可用性挑战。为了解决这些问题，我们首先向一个半监督的联邦学习（SSFL）框架提供隐私保留的UAV图像识别。具体而言，我们提出了模型参数混合策略，以改善两个现实场景下的FL和半监督学习方法的天真组合（标签 - 客户端和标签 - 服务器），其被称为联合混合（FEDMIX）。此外，在不同环境中使用不同的相机模块，在不同环境中使用不同的相机模块，在不同的相机模块，即统计异质性，存在显着差异。为了减轻统计异质性问题，我们提出了基于客户参与训练的频率的聚合规则，即FedFReq聚合规则，可以根据其频率调整相应的本地模型的权重。数值结果表明，我们提出的方法的性能明显优于当前基线的性能，并且对不同的非IID等级的客户数据具有强大。
translated by 谷歌翻译
事实证明，生成的对抗网络是学习复杂且高维数据分布的强大工具，但是已证明诸如模式崩溃之类的问题使他们难以训练它们。当数据分散到联合学习设置中的几个客户端时，这是一个更困难的问题，因为诸如客户端漂移和非IID数据之类的问题使联盟的平均平均值很难收敛。在这项工作中，我们研究了如何在培训数据分散到客户上时如何学习数据分布的任务，无法共享。我们的目标是从集中进行此分配中进行采样，而数据永远不会离开客户。我们使用标准基准图像数据集显示，现有方法在这种设置中失败，当局部时期的局部数量变大时，会经历所谓的客户漂移。因此，我们提出了一种新型的方法，我们称为Effgan：微调联合gans的合奏。作为本地专家发电机的合奏，Effgan能够学习所有客户端的数据分布并减轻客户漂移。它能够用大量的本地时代进行训练，从而使其比以前的作品更有效。
translated by 谷歌翻译
Federated Learning (FL) enables the training of Deep Learning models without centrally collecting possibly sensitive raw data. This paves the way for stronger privacy guarantees when building predictive models. The most used algorithms for FL are parameter-averaging based schemes (e.g., Federated Averaging) that, however, have well known limits: (i) Clients must implement the same model architecture; (ii) Transmitting model weights and model updates implies high communication cost, which scales up with the number of model parameters; (iii) In presence of non-IID data distributions, parameter-averaging aggregation schemes perform poorly due to client model drifts. Federated adaptations of regular Knowledge Distillation (KD) can solve and/or mitigate the weaknesses of parameter-averaging FL algorithms while possibly introducing other trade-offs. In this article, we provide a review of KD-based algorithms tailored for specific FL issues.
translated by 谷歌翻译
随着对数据隐私和数据量迅速增加的越来越关注，联邦学习（FL）已成为重要的学习范式。但是，在FL环境中共同学习深层神经网络模型被证明是一项非平凡的任务，因为与神经网络相关的复杂性，例如跨客户的各种体系结构，神经元的置换不变性以及非线性的存在每一层的转换。这项工作介绍了一个新颖的联合异质神经网络（FEDHENN）框架，该框架允许每个客户构建个性化模型，而无需在跨客户范围内实施共同的架构。这使每个客户都可以优化本地数据并计算约束，同时仍能从其他（可能更强大）客户端的学习中受益。 Fedhenn的关键思想是使用从同行客户端获得的实例级表示，以指导每个客户的同时培训。广泛的实验结果表明，Fedhenn框架能够在跨客户的同质和异质体系结构的设置中学习更好地表现客户的模型。
translated by 谷歌翻译