将联合学习（FL）模型概括为未IID数据的解读客户是一个至关重要的主题，但到目前为止未解决。在这项工作中，我们建议从新的因果角度来解决这个问题。具体而言，我们形成培训结构因果模型（SCM），以解释模型泛化在分布式学习范式中的挑战。基于此，我们介绍了一种使用测试特定和势头批量标准化（TSMobn）的简单且有效的方法来推广到测试客户端。通过制定另一个测试SCM来说，给出了因果分析，并证明了TSMobn的关键因素是特定的特定于特定的统计数据（即，均值和方差）。这种统计数据可以被视为因果干预的代理变量。此外，通过考虑FL中的泛化界，我们表明我们的TSMobn方法可以减少训练和测试特征分布之间的分歧，这实现了比标准模型测试更低的泛化差距。我们广泛的实验评估表明，在具有各种类型的特征分布和客户端数量的三个数据集上对看不见的客户端概括的显着改进。值得注意的是，我们的建议方法可以灵活地应用于不同的最先进的联邦学习算法，并且与现有的域泛化方法正交。
translated by 谷歌翻译
使用联合学习（FL）协作培训模型的多个医疗机构已成为最大化数据驱动模型的潜力的有希望的解决方案，但医学图像中的非独立性和相同分布的（非IID）数据仍然是一个突出的挑战在真实的练习中。由不同扫描仪或协议引起的特征异质性在本地（客户端）和全局（服务器）优化中引入了学习过程中的漂移，这损害了收敛以及模型性能。许多以前的作品已经尝试通过在本地或全球范围内解决漂移来解决非IID问题，但如何共同解决两个基本耦合的漂移仍然不清楚。在这项工作中，我们专注于处理本地和全球漂移，并介绍一个名为HARMOFL的新协调框架。首先，我们建议通过将变换到频域的图像的幅度归一化以模仿统一的成像设置来减轻本地更新漂移，以便在跨本地客户端生成统一的特征空间。其次，基于谐波功能，我们设计了引导每个本地模型的客户重量扰动，以达到平坦的最佳状态，其中局部最佳解决方案的邻域面积具有均匀低损耗。如果没有任何额外的沟通成本，则扰动协助全局模型通过聚合几个局部平面OptimA来优化融合的最佳解决方案。理论上，我们已经分析了所提出的方法和经验上对三种医学图像分类和分割任务进行了广泛的实验，表明HARMOFL优于一系列具有有前途的收敛行为的最近最先进的方法。
translated by 谷歌翻译
联合学习（FL）是一种流行的分布式学习模式，它可以从一组参与用户中学习模型而无需共享原始数据。 FL的一个主要挑战是异质用户，他们的分布不同（或非IID）数据和不同的计算资源。由于联合用户将使用该模型进行预测，因此他们经常要求训练有素的模型在测试时对恶意攻击者保持强大的态度。尽管对抗性培训（AT）为集中学习提供了一个合理的解决方案，但扩大对联合用户的使用范围已经引起了重大挑战，因为许多用户可能拥有非常有限的培训数据和严格的计算预算，以负担得起数据繁殖和成本高昂。在本文中，我们研究了一种新颖的FL策略：在联邦学习期间，从可负担得起的富裕用户的富裕用户传播对抗性的鲁棒性。我们表明，现有的FL技术不能与非IID用户之间稳健性的策略有效整合，并通过正确使用批处理规范化提出了有效的传播方法。我们通过广泛的实验证明了我们方法的合理性和有效性。特别是，即使只有一小部分用户在学习过程中，提出的方法也证明可以赋予联合模型出色的鲁棒性。源代码将发布。
translated by 谷歌翻译
联合学习（FL）是一个分散的学习范式，其中多个客户在不集中其本地数据的情况下进行培训深度学习模型，因此保留数据隐私。现实世界中的应用程序通常涉及在不同客户端的数据集上进行分发转换，这损害了客户从各自的数据分布中看不见样本的概括能力。在这项工作中，我们解决了最近提出的功能转移问题，其中客户具有不同的功能分布，而标签分布相同。我们建议联邦代表性扩大（FRAUG）来解决这个实用且具有挑战性的问题。我们的方法在嵌入空间中生成合成客户端特定的样本，以增加通常小客户端数据集。为此，我们训练一个共享的生成模型，以融合客户从其不同功能分布中学习的知识。该发电机合成了客户端 - 不合时式嵌入，然后通过表示转换网络（RTNET）将其局部转换为特定于客户端的嵌入。通过将知识转移到客户端，生成的嵌入式作为客户模型的正常化程序，并减少对本地原始数据集的过度拟合，从而改善了概括。我们对公共基准和现实医学数据集的经验评估证明了该方法的有效性，该方法在包括Partialfed和FedBN在内的非IID特征的当前最新FL方法大大优于最新的FL方法。
translated by 谷歌翻译
语义细分对于使自动驾驶车辆自动驾驶至关重要，从而使他们能够通过将单个像素分配给已知类别来理解周围环境。但是，它可以根据用户汽车收集的明智数据运行；因此，保护客户的隐私成为主要问题。出于类似的原因，最近将联邦学习作为一种新的机器学习范式引入，旨在学习全球模型，同时保留隐私并利用数百万个远程设备的数据。尽管在这个主题上进行了几项努力，但尚未明确解决语义细分中联合学习在迄今为止驾驶的挑战。为了填补这一空白，我们提出了FedDrive，这是一个由三个设置和两个数据集组成的新基准，其中包含了统计异质性和域概括的现实世界挑战。我们通过深入的分析基于联合学习文献的最新算法，将它们与样式转移方法相结合以提高其概括能力。我们证明，正确处理标准化统计数据对于应对上述挑战至关重要。此外，在处理重大外观变化时，样式转移会提高性能。官方网站：https：//feddrive.github.io。
translated by 谷歌翻译
联合学习通过与大量参与者启用学习统计模型的同时将其数据保留在本地客户中，从而提供了沟通效率和隐私的培训过程。但是，将平均损失函数天真地最小化的标准联合学习技术容易受到来自异常值，系统错误标签甚至对手的数据损坏。此外，由于对用户数据隐私的关注，服务提供商通常会禁止使用数据样本的质量。在本文中，我们通过提出自动加权的强大联合学习（ARFL）来应对这一挑战，这是一种新颖的方法，可以共同学习全球模型和本地更新的权重，以提供针对损坏的数据源的鲁棒性。我们证明了关于预测因素和客户权重的预期风险的学习，这指导着强大的联合学习目标的定义。通过将客户的经验损失与最佳P客户的平均损失进行比较，可以分配权重，因此我们可以减少损失较高的客户，从而降低对全球模型的贡献。我们表明，当损坏的客户的数据与良性不同时，这种方法可以实现鲁棒性。为了优化目标函数，我们根据基于块最小化范式提出了一种通信效率算法。我们考虑了不同的深层神经网络模型，在包括CIFAR-10，女权主义者和莎士比亚在内的多个基准数据集上进行实验。结果表明，我们的解决方案在不同的情况下具有鲁棒性，包括标签改组，标签翻转和嘈杂的功能，并且在大多数情况下都优于最先进的方法。
translated by 谷歌翻译
联合学习（FL）是一个杰出的框架，可以通过融合本地，分散的模型来确保用户隐私来培训集中式模型。在这种情况下，一个主要障碍是数据异质性，即每个客户具有非相同和独立分布（非IID）数据。这类似于域概括（DG）的上下文，在该上下文中，每个客户端都可以视为不同的域。但是，尽管DG中的许多方法从算法的角度来解决数据异质性，但最近的证据表明，数据增强可以诱导相等或更高的性能。在这种连接的激励下，我们介绍了受欢迎的DG算法的联合版本，并表明，通过应用适当的数据增强，我们可以在联合环境中减轻数据异质性，并为看不见的客户获得更高的准确性。配备了数据增强功能，我们甚至可以使用最基本的联邦平均算法实现最先进的性能，并具有更稀疏的沟通。
translated by 谷歌翻译
自从联合学习（FL）被引入具有隐私保护的分散学习技术以来，分布式数据的统计异质性是实现FL应用中实现稳健性能和稳定收敛性的主要障碍。已经研究了模型个性化方法来克服这个问题。但是，现有的方法主要是在完全标记的数据的先决条件下，这在实践中是不现实的，由于需要专业知识。由部分标记的条件引起的主要问题是，标记数据不足的客户可能会遭受不公平的性能增益，因为他们缺乏足够的本地分销见解来自定义全球模型。为了解决这个问题，1）我们提出了一个新型的个性化的半监督学习范式，该范式允许部分标记或未标记的客户寻求与数据相关的客户（助手代理）的标签辅助，从而增强他们对本地数据的认识； 2）基于此范式，我们设计了一个基于不确定性的数据关系度量，以确保选定的帮助者可以提供值得信赖的伪标签，而不是误导当地培训； 3）为了减轻助手搜索引入的网络过载，我们进一步开发了助手选择协议，以实现有效的绩效牺牲的有效沟通。实验表明，与其他具有部分标记数据的相关作品相比，我们提出的方法可以获得卓越的性能和更稳定的收敛性，尤其是在高度异质的环境中。
translated by 谷歌翻译
联邦学习（FL）试图在本地客户端分发模型培训，而无需在集中式数据中心收集数据，从而消除了数据私人关系问题。 FL的一个主要挑战是数据异质性（每个客户的数据分布可能会有所不同），因为它可能导致本地客户的权重差异并减慢全球融合。当前专为数据异质性设计的SOTA FL方法通常会施加正则化以限制非IID数据的影响，并且是状态算法，即它们随着时间的推移维持局部统计数据。尽管有效，但这些方法只能用于FL的特殊情况，仅涉及少数可靠的客户。对于fl的更典型应用，客户端数量很大（例如，边缘设备和移动应用程序），这些方法无法应用，激发了对任何可用于任何数量客户端使用的无状态方法的无状态方法的需求。我们得出了一阶梯度正则化，以惩罚由于本地数据异质性而导致的本地更新不一致。具体而言，为了减轻权重差异，我们将全局数据分布的一阶近似引入本地目标，该目标凭直觉地惩罚了与全局更新相反方向的更新。最终结果是一种无状态的FL算法，可实现1）在非IID数据分布下，比SOTA方法明显更快地收敛（即较少的通信回合）和2）总体融合性能更高。重要的是，我们的方法不会对客户大小施加不切实际的限制，从而可以从大多数FL应用程序中向大量客户学习。
translated by 谷歌翻译
Federated Learning有望在不访问数据的情况下与多个客户进行协作培训模型的能力，但是当客户的数据分布彼此差异时脆弱。这种差异进一步导致了困境：“我们是否应该优先考虑学习模型的通用性能（用于服务器的将来使用）或其个性化绩效（对于每个客户端）？”这两个看似竞争的目标使社区分裂了专注于一个或另一个，但在本文中，我们表明可以同时实现这两者。具体而言，我们提出了一个新颖的联邦学习框架，该框架将模型的双重职责与两个预测任务相结合。一方面，我们介绍了一个损失家族，这些损失家庭对非相同的班级分布，使客户能够培训一个通用的预测指标，并以一致的目标培训。另一方面，我们将个性化预测变量作为一种轻巧的自适应模块，以最大程度地减少每个客户在通用预测指标上的经验风险。借助我们将联合强大的脱钩（FED-ROD）命名的两个损失的两次挑战框架，学识渊博的模型可以同时实现最先进的通用和个性化的性能，从而实质上弥补了这两个任务。
translated by 谷歌翻译
我们展示了一个联合学习框架，旨在强大地提供具有异构数据的各个客户端的良好预测性能。所提出的方法对基于SuperQualile的学习目标铰接，捕获异构客户端的误差分布的尾统计。我们提出了一种随机训练算法，其与联合平均步骤交织差异私人客户重新重量步骤。该提出的算法支持有限时间收敛保证，保证覆盖凸和非凸面设置。关于联邦学习的基准数据集的实验结果表明，我们的方法在平均误差方面与古典误差竞争，并且在误差的尾统计方面优于它们。
translated by 谷歌翻译
聚集的联合学习（FL）已显示通过将客户分组为群集，从而产生有希望的结果。这在单独的客户群在其本地数据的分布方面有显着差异的情况下特别有效。现有的集群FL算法实质上是在试图将客户群体组合在一起，以便同一集群中的客户可以利用彼此的数据来更好地执行联合学习。但是，先前的群集FL算法试图在培训期间间接学习这些分布相似性，这可能会很耗时，因为可能需要许多回合的联合学习，直到群集的形成稳定为止。在本文中，我们提出了一种新的联合学习方法，该方法直接旨在通过分析客户数据子空间之间的主要角度来有效地识别客户之间的分布相似性。每个客户端都以单一的方式在其本地数据上应用截断的奇异值分解（SVD）步骤，以得出一小部分主向量，该量提供了一个签名，可简洁地捕获基础分布的主要特征。提供了一组主要的主向量，以便服务器可以直接识别客户端之间的分布相似性以形成簇。这是通过比较这些主要向量跨越的客户数据子空间之间主要角度的相似性来实现的。该方法提供了一个简单而有效的集群FL框架，该框架解决了广泛的数据异质性问题，而不是标签偏斜的更简单的非iids形式。我们的聚类FL方法还可以为非凸目标目标提供融合保证。我们的代码可在https://github.com/mmorafah/pacfl上找到。
translated by 谷歌翻译
在联合学习（FL）中，多个客户端协作通过中央服务器学习模型，但保持数据分散。个性化联合学习（PFL）进一步扩展了通过学习个性化模型来处理客户之间的数据异质性。在FL和PFL中，所有客户都参与培训过程，其标记数据用于培训。但是，实际上，新颖的客户端可能希望在部署后加入预测服务，从而获得自己的未标记数据的预测。在这里，我们定义了一个新的学习设置，推理时间PFL（IT-PFL），其中在一组客户端上培训的模型需要稍后在推理时间的新颖解压缩客户端上进行评估。我们提出了一种新颖的方法，它基于Hypernetwork模块和编码器模块来提出这个问题的方法IT-PFL-HN。具体来说，我们训练一个编码器网络，了解给定客户的客户端的表示。客户端表示将被馈送到一个HyperNetwork，为该客户端生成个性化模型。在四个基准数据集中进行评估，我们发现IT-PFL-HN优于当前FL和PFL方法，特别是当新颖客户端具有大域移位时。我们还分析了新颖客户端的泛化误差，展示了如何使用多任务学习和域适应的结果来界限。最后，由于小说客户没有贡献他们的数据来培训，他们可能会更好地控制他们的数据隐私;事实上，我们在分析上展示了新的客户如何为其数据应用差别隐私。
translated by 谷歌翻译
在联合学习（FL）中，模型性能通常遭受数据异质性引起的客户漂移，而主流工作则专注于纠正客户漂移。我们提出了一种名为Virtual同质性学习（VHL）的不同方法，以直接“纠正”数据异质性。尤其是，VHL使用一个虚拟均匀的数据集进行FL，该数据集精心制作以满足两个条件：不包含私人信息和可分开的情况。虚拟数据集可以从跨客户端共享的纯噪声中生成，旨在校准异质客户的功能。从理论上讲，我们证明VHL可以在自然分布上实现可证明的概括性能。从经验上讲，我们证明了VHL赋予FL具有巨大改善的收敛速度和概括性能。VHL是使用虚拟数据集解决数据异质性的首次尝试，为FL提供了新的有效手段。
translated by 谷歌翻译
在联邦设置中接受培训的模型通常会遭受降解的表演，并且在概括方面失败，尤其是在面对异质场景时。在这项工作中，我们通过损失和黑森特征光谱的几何形状的镜头来研究这种行为，将模型缺乏概括能力与溶液的清晰度联系起来。通过先前的研究将损失表面和概括差距连接起来的动机，我们表明i）在本地培训客户，以清晰感最小化（SAM）或其自适应版本（ASAM）和II）平均随机重量（SWA）服务器端可以基本上改善联合学习的概括，并帮助弥合差距，以中央集权模型。通过在具有均匀损失均匀损失的社区中寻求参数，该模型会收敛于平坦的最小值及其泛化，从而在均质和异质情况下都显着改善。经验结果证明了这些优化器在各种基准视觉数据集（例如CIFAR10/100，Landmarks-User-160K，IDDA）和任务（大规模分类，语义分割，域概括）中的有效性。
translated by 谷歌翻译
联合学习（FL）已成为一个重要的机器学习范例，其中全局模型根据分布式客户端的私有数据培训。然而，由于分布转移，现有的大多数流体算法不能保证对不同客户或不同的样本组的性能公平。最近的研究侧重于在客户之间实现公平性，但它们忽视了敏感属性（例如，性别和/或种族）形成的不同群体的公平，这在实际应用中是重要和实用的。为了弥合这一差距，我们制定统一小组公平的目标，该目标是在不同群体中学习具有类似表现的公平全球模式。为了实现任意敏感属性的统一组公平，我们提出了一种新颖的FL算法，命名为集团分布强制性联邦平均（G-DRFA），其跨组减轻了与收敛速度的理论分析的分布转移。具体而言，我们将联邦全球模型的性能视为目标，并采用分布稳健的技术，以最大化最坏性地组的性能在组重新传递集团的不确定性上。我们在实验中验证了G-DRFA算法的优点，结果表明，G-DRFA算法优于统一组公平现有的公平联合学习算法。
translated by 谷歌翻译
随着对数据隐私和数据量迅速增加的越来越关注，联邦学习（FL）已成为重要的学习范式。但是，在FL环境中共同学习深层神经网络模型被证明是一项非平凡的任务，因为与神经网络相关的复杂性，例如跨客户的各种体系结构，神经元的置换不变性以及非线性的存在每一层的转换。这项工作介绍了一个新颖的联合异质神经网络（FEDHENN）框架，该框架允许每个客户构建个性化模型，而无需在跨客户范围内实施共同的架构。这使每个客户都可以优化本地数据并计算约束，同时仍能从其他（可能更强大）客户端的学习中受益。 Fedhenn的关键思想是使用从同行客户端获得的实例级表示，以指导每个客户的同时培训。广泛的实验结果表明，Fedhenn框架能够在跨客户的同质和异质体系结构的设置中学习更好地表现客户的模型。
translated by 谷歌翻译
联邦学习（FL）是利用属于患者，人，公司或行业的敏感数据的合适解决方案，这些数据在刚性隐私约束下工作的难题。 FL主要或部分地支持数据隐私和安全问题，并提供促进促进多个边缘设备或组织的模型问题的替代方案，以使用许多本地数据培训全局模型而不具有它们。由其分布式自然引起的FL的非IID数据具有显着的性能下降和稳定性偏斜。本文介绍了一种新颖的方法，通过增强图像动态平衡客户端的数据分布，以解决FL的非IID数据问题。介绍的方法非常稳定模型培训，并将模型的测试精度从83.22％提高到89.43％，对于高度IID FL设定中的胸部X射线图像的多胸疾病检测。 IID，非IID和非IID的结果，联合培训表明，该方法可能有助于鼓励组织或研究人员开发更好的系统，以获得与数据隐私的数据的价值不仅适用于医疗保健，而且领域。
translated by 谷歌翻译
在金融和医疗保健等高度监管域中的机构通常存在围绕数据共享的限制性规则。联合学习是一种分布式学习框架，可以实现对分散数据的多机构合作，并改善了每个合作师的数据隐私的保护。在本文中，我们提出了一种用于分散的联邦学习的通信有效的方案，称为ProxyFL或基于代理的联合学习。 ProxyFL中的每个参与者都维护了两个模型，私人模型和旨在保护参与者隐私的公开共享代理模型。代理模型允许参与者之间的高效信息交换，使用PushSum方法而无需集中式服务器。所提出的方法通过允许模型异质性消除了规范联合学习的显着限制;每个参与者都可以拥有任何架构的私有模型。此外，我们通过代理通信的协议导致使用差异隐私分析的隐私保障更强。对流行的图像数据集的实验，以及使用超过30,000多个高质量的千兆的千兆子痫组织的泛癌诊断问题整个幻灯片图像，表明ProxyFL可以优于现有的现有替代方案，越来越少的沟通开销和更强大的隐私。
translated by 谷歌翻译
联合学习是一种在不违反隐私限制的情况下对分布式数据集进行统计模型培训统计模型的最新方法。通过共享模型而不是客户和服务器之间的数据来保留数据位置原则。这带来了许多优势，但也带来了新的挑战。在本报告中，我们探讨了这个新的研究领域，并执行了几项实验，以加深我们对这些挑战的理解以及不同的问题设置如何影响最终模型的性能。最后，我们为这些挑战之一提供了一种新颖的方法，并将其与文献中的其他方法进行了比较。
translated by 谷歌翻译