The ubiquity of edge devices has led to a growing amount of unlabeled data produced at the edge. Deep learning models deployed on edge devices are required to learn from these unlabeled data to continuously improve accuracy. Self-supervised representation learning has achieved promising performances using centralized unlabeled data. However, the increasing awareness of privacy protection limits centralizing the distributed unlabeled image data on edge devices. While federated learning has been widely adopted to enable distributed machine learning with privacy preservation, without a data selection method to efficiently select streaming data, the traditional federated learning framework fails to handle these huge amounts of decentralized unlabeled data with limited storage resources on edge. To address these challenges, we propose a Federated on-device Contrastive learning framework with Coreset selection, which we call FedCoCo, to automatically select a coreset that consists of the most representative samples into the replay buffer on each device. It preserves data privacy as each client does not share raw data while learning good visual representations. Experiments demonstrate the effectiveness and significance of the proposed method in visual representation learning.

在皮肤病学诊断中，移动皮肤病学助理收集的私人数据存在于患者的分布式移动设备上。联合学习（FL）可以使用分散数据来训练模型，同时保持数据本地化。现有的FL方法假设所有数据都有标签。但是，由于高标签成本，医疗数据通常没有完整的标签。自我监督的学习（SSL）方法，对比度学习（CL）和蒙版自动编码器（MAE）可以利用未标记的数据来预先培训模型，然后用有限的标签进行微调。但是，组合SSL和FL有独特的挑战。例如，CL需要不同的数据，但每个设备仅具有有限的数据。对于MAE而言，尽管基于视觉变压器（VIT）的MAE在集中学习中具有更高的准确性，但尚未研究MAE在未标记数据的FL中的性能。此外，服务器和客户端之间的VIT同步与传统CNN不同。因此，需要设计特殊的同步方法。在这项工作中，我们提出了两个联邦自制的学习框架，用于具有有限标签的皮肤病学诊断。第一个具有较低的计算成本，适用于移动设备。第二个具有高精度，适合高性能服务器。根据CL，我们提出了与功能共享（FedClf）的联合对比度学习。共享功能可用于不同的对比信息，而无需共享原始数据以获得隐私。根据MAE，我们提出了Fedmae。知识拆分将所学的全球知识与每个客户分开。只有全球知识才能汇总为更高的概括性能。关于皮肤病学数据集的实验表明，所提出的框架的精度优于最先进的框架。

联合学习（FL）使分布式客户端能够学习共享模型以进行预测，同时保留每个客户端的培训数据本地。然而，现有的FL需要完全标记的培训数据，这是由于高标签成本和专业要求的要求而不方便或有时不可行。在许多现实设置中，缺乏标签会使流行不切实际。自我监督学习可以通过从未标记的数据学习来解决这一挑战，从而可以广泛使用FL。对比学习（CL）是一种自我监督的学习方法，可以有效地学习来自未标记数据的数据表示。然而，Clipers上收集的分布式数据通常在客户端之间通常不是独立和相同分布（非IID），并且每个客户端只有很少的数据类，这会降低CL和学习的表示的性能。为了解决这个问题，我们提出了由两种方法组成的联邦对比学习框架：特征融合和邻居匹配，通过该邻居匹配，以便获得更好的数据表示来实现客户端之间的统一特征空间。特征融合提供远程功能，作为每个客户端的准确对比信息，以获得更好的本地学习。邻域匹配进一步将每个客户端的本地功能对齐至远程功能，从而可以了解客户端之间的群集功能。广泛的实验表明了拟议框架的有效性。它在IID数据上以11 \％的方式表达了其他方法，并匹配集中学习的性能。

有监督的深度学习需要大量标记的数据才能实现高性能。但是，在医学成像分析中，每个站点可能只有有限的数据和标签，这使得学习无效。联合学习（FL）可以从分散数据中学习共享模型。但是传统的FL需要全标签的数据进行培训，这非常昂贵。自我监督的对比学习（CL）可以从未标记的数据中学习进行预训练，然后进行微调，以有限的注释。但是，在FL中采用CL时，每个站点上的数据多样性有限，使联合对比度学习（FCL）无效。在这项工作中，我们提出了两个联合自制的学习框架，用于体积医学图像分割，并有限注释。第一个具有高精度，并适合高性能服务器，并具有高速连接。第二个具有较低的通信成本，适用于移动设备。在第一个框架中，在FCL期间交换了功能，以向每个站点提供各种对比度数据，以使本地CL保持原始数据的私密性。全局结构匹配将不同站点之间的统一特征空间保持一致。在第二个框架中，为了降低功能交换的通信成本，我们提出了一种优化的方法FCLOPT，该方法不依赖于负样本。为了减少模型下载的通信，我们提出了预测目标网络参数的预测目标网络更新（PTNU）。基于PTNU，我们建议距离预测（DP）以删除目标网络的大多数上传。在心脏MRI数据集上的实验表明，与最先进的技术相比，提出的两个框架显着改善了分割和泛化性能。

空中接入网络已被识别为各种事物互联网（物联网）服务和应用程序的重要驾驶员。特别是，以无人机互联网为中心的空中计算网络基础设施已经掀起了自动图像识别的新革命。这种新兴技术依赖于共享地面真理标记的无人机（UAV）群之间的数据，以培训高质量的自动图像识别模型。但是，这种方法将带来数据隐私和数据可用性挑战。为了解决这些问题，我们首先向一个半监督的联邦学习（SSFL）框架提供隐私保留的UAV图像识别。具体而言，我们提出了模型参数混合策略，以改善两个现实场景下的FL和半监督学习方法的天真组合（标签 - 客户端和标签 - 服务器），其被称为联合混合（FEDMIX）。此外，在不同环境中使用不同的相机模块，在不同环境中使用不同的相机模块，在不同的相机模块，即统计异质性，存在显着差异。为了减轻统计异质性问题，我们提出了基于客户参与训练的频率的聚合规则，即FedFReq聚合规则，可以根据其频率调整相应的本地模型的权重。数值结果表明，我们提出的方法的性能明显优于当前基线的性能，并且对不同的非IID等级的客户数据具有强大。

我们提出了联合动量对比聚类（FEDMCC），这是一个学习框架，不仅可以在分布式本地数据上提取区分性表示，而且可以执行数据群集。在FEDMCC中，转换的数据对通过在线和目标网络都通过，从而确定了四个表示损失的表示。FEDMCC生成的产生的高质量表示可以胜过几种现有的自制学习方法，用于线性评估和半监督学习任务。FEDMCC可以通过我们称为动量对比聚类（MCC）轻松地适应普通的集中聚类。我们表明，MCC在某些数据集（例如STL-10和Imagenet-10）中实现了最先进的聚类精度。我们还提出了一种减少聚类方案的内存足迹的方法。

联邦学习对分布式数据利用率和隐私保护表达了极大的潜力。大多数现有的联合学习方法侧重于监督设置，这意味着存储在每个客户端中的所有数据都有标签。但是，在现实世界应用中，客户数据无法完全标记。因此，如何利用未标记的数据应该是联邦学习的新挑战。虽然一些研究正在试图克服这一挑战，但它们可能会遭受信息泄漏或误导性信息使用问题。为了解决这些问题，在本文中，我们提出了一种名为Fedtrinet的新型联合半监督学习方法，该方法由两个学习阶段组成。在第一阶段，我们使用带有FADVG的标记数据预先列教Fedtrinet。在第二阶段，我们的目标是使大部分未标记的数据来帮助模型学习。特别是，我们建议使用三个网络和动态质量控制机制来为未标记数据产生高质量的伪标签，该数据被添加到训练集中。最后，Fedtrinet使用新的训练设置来重新培训模型。在三个公共数据集上的实验结果表明，提出的Fedtrinet在IID和非IID设置下优于最先进的基线。

本文介绍了无监督的联合学习框架FEDX。我们的模型从分散和异质的局部数据中学习无偏的表示。它采用对比度学习作为核心组件的双面知识蒸馏，使联合系统可以在不要求客户共享任何数据功能的情况下运行。此外，它的适应性体系结构可以用作联合设置中现有无监督算法的附加模块。实验表明，我们的模型可显着提高五种无监督算法的性能（1.58--5.52pp）。

Federated learning enables multiple parties to collaboratively train a machine learning model without communicating their local data. A key challenge in federated learning is to handle the heterogeneity of local data distribution across parties. Although many studies have been proposed to address this challenge, we find that they fail to achieve high performance in image datasets with deep learning models. In this paper, we propose MOON: modelcontrastive federated learning. MOON is a simple and effective federated learning framework. The key idea of MOON is to utilize the similarity between model representations to correct the local training of individual parties,i.e., conducting contrastive learning in model-level. Our extensive experiments show that MOON significantly outperforms the other state-of-the-art federated learning algorithms on various image classification tasks.

Deep Neural Networks (DNNs) have been ubiquitously adopted in internet of things and are becoming an integral of our daily life. When tackling the evolving learning tasks in real world, such as classifying different types of objects, DNNs face the challenge to continually retrain themselves according to the tasks on different edge devices. Federated continual learning is a promising technique that offers partial solutions but yet to overcome the following difficulties: the significant accuracy loss due to the limited on-device processing, the negative knowledge transfer caused by the limited communication of non-IID data, and the limited scalability on the tasks and edge devices. In this paper, we propose FedKNOW, an accurate and scalable federated continual learning framework, via a novel concept of signature task knowledge. FedKNOW is a client side solution that continuously extracts and integrates the knowledge of signature tasks which are highly influenced by the current task. Each client of FedKNOW is composed of a knowledge extractor, a gradient restorer and, most importantly, a gradient integrator. Upon training for a new task, the gradient integrator ensures the prevention of catastrophic forgetting and mitigation of negative knowledge transfer by effectively combining signature tasks identified from the past local tasks and other clients' current tasks through the global model. We implement FedKNOW in PyTorch and extensively evaluate it against state-of-the-art techniques using popular federated continual learning benchmarks. Extensive evaluation results on heterogeneous edge devices show that FedKNOW improves model accuracy by 63.24% without increasing model training time, reduces communication cost by 34.28%, and achieves more improvements under difficult scenarios such as large numbers of tasks or clients, and training different complex networks.

由于参与客户的异构特征，联邦学习往往受到不稳定和缓慢的收敛。当客户参与比率低时，这种趋势加剧了，因为从每个轮的客户收集的信息容易更加不一致。为了解决挑战，我们提出了一种新的联合学习框架，这提高了服务器端聚合步骤的稳定性，这是通过将客户端发送与全局梯度估计的加速模型来引导本地梯度更新来实现的。我们的算法自然地聚合并将全局更新信息与没有额外的通信成本的参与者传达，并且不需要将过去的模型存储在客户端中。我们还规范了本地更新，以进一步降低偏差并提高本地更新的稳定性。我们根据各种设置执行了关于实际数据的全面实证研究，与最先进的方法相比，在准确性和通信效率方面表现出了拟议方法的显着性能，特别是具有低客户参与率。我们的代码可在https://github.com/ninigapa0 / fedagm获得

自从联合学习（FL）被引入具有隐私保护的分散学习技术以来，分布式数据的统计异质性是实现FL应用中实现稳健性能和稳定收敛性的主要障碍。已经研究了模型个性化方法来克服这个问题。但是，现有的方法主要是在完全标记的数据的先决条件下，这在实践中是不现实的，由于需要专业知识。由部分标记的条件引起的主要问题是，标记数据不足的客户可能会遭受不公平的性能增益，因为他们缺乏足够的本地分销见解来自定义全球模型。为了解决这个问题，1）我们提出了一个新型的个性化的半监督学习范式，该范式允许部分标记或未标记的客户寻求与数据相关的客户（助手代理）的标签辅助，从而增强他们对本地数据的认识； 2）基于此范式，我们设计了一个基于不确定性的数据关系度量，以确保选定的帮助者可以提供值得信赖的伪标签，而不是误导当地培训； 3）为了减轻助手搜索引入的网络过载，我们进一步开发了助手选择协议，以实现有效的绩效牺牲的有效沟通。实验表明，与其他具有部分标记数据的相关作品相比，我们提出的方法可以获得卓越的性能和更稳定的收敛性，尤其是在高度异质的环境中。

Federated learning achieves joint training of deep models by connecting decentralized data sources, which can significantly mitigate the risk of privacy leakage. However, in a more general case, the distributions of labels among clients are different, called ``label distribution skew''. Directly applying conventional federated learning without consideration of label distribution skew issue significantly hurts the performance of the global model. To this end, we propose a novel federated learning method, named FedMGD, to alleviate the performance degradation caused by the label distribution skew issue. It introduces a global Generative Adversarial Network to model the global data distribution without access to local datasets, so the global model can be trained using the global information of data distribution without privacy leakage. The experimental results demonstrate that our proposed method significantly outperforms the state-of-the-art on several public benchmarks. Code is available at \url{https://github.com/Sheng-T/FedMGD}.

机器学习模型已在移动网络中部署，以处理来自不同层的数据，以实现自动化网络管理和设备的智能。为了克服集中式机器学习的高度沟通成本和严重的隐私问题，已提出联合学习（FL）来实现网络设备之间的分布式机器学习。虽然在FL中广泛研究了计算和通信限制，但仍未探索设备存储对FL性能的影响。如果没有有效有效的数据选择政策来过滤设备上的大量流媒体数据，经典FL可能会遭受更长的模型训练时间（超过$ 4 \ times $）和显着的推理准确性（超过$ 7 \％\％$），则遭受了损失，观察到了。在我们的实验中。在这项工作中，我们迈出了第一步，考虑使用有限的在设备存储的FL的在线数据选择。我们首先定义了一个新的数据评估度量，以在FL中进行数据选择：在设备数据样本上，局部梯度在所有设备的数据上投影到全球梯度上。我们进一步设计\ textbf {ode}，一个\ textbf {o} nline \ textbf {d} ata s \ textbf {e textbf {e} fl for f for fl f textbf {o}的框架，用于协作网络设备，以协作存储有价值的数据示例，并保证用于快速的理论保证同时提高模型收敛并增强最终模型精度。一项工业任务（移动网络流量分类）和三个公共任务（综合任务，图像分类，人类活动识别）的实验结果显示了ODE的显着优势，而不是最先进的方法。特别是，在工业数据集上，ODE的成就高达$ 2.5 \ times $ $加速的培训时间和6美元的最终推理准确性增加，并且在实践环境中对各种因素都有强大的态度。

启用摄像头的移动设备的无处不在导致在边缘生产大量未标记的视频数据。尽管已经提出了各种自我监督学习（SSL）方法来收集其潜在的时空表征，以进行特定于任务的培训，但实际挑战包括隐私问题和沟通成本，可以阻止SSL在大规模上部署。为了减轻这些问题，我们建议将联合学习（FL）用于视频SSL的任务。在这项工作中，我们评估了当前最新ART（SOTA）视频-SSL技术的性能，并确定其在与Kinetics-400数据集模拟的大规模FL设置中集成到大规模的FL设置时的缺陷。我们遵循，为视频（称为FedVSSL）提出了一个新颖的Federated SSL框架，该框架集成了不同的聚合策略和部分重量更新。广泛的实验证明了FEDVSSL的有效性和意义，因为它在UCF-101上优于下游检索任务的集中式SOTA，而HMDB-51的效率为6.66％。

高效联合学习是在边缘设备上培训和部署AI模型的关键挑战之一。然而，在联合学习中维护数据隐私提出了几种挑战，包括数据异质性，昂贵的通信成本和有限的资源。在本文中，我们通过（a）通过基于本地客户端的深度增强学习引入突出参数选择代理的上述问题，并在中央服务器上聚合所选择的突出参数，（b）分割正常的深度学习模型〜 （例如，CNNS）作为共享编码器和本地预测器，并通过联合学习训练共享编码器，同时通过本地自定义预测器将其知识传送到非IID客户端。所提出的方法（a）显着降低了联合学习的通信开销，并加速了模型推断，而方法（b）则在联合学习中解决数据异质性问题。此外，我们利用梯度控制机制来校正客户之间的梯度异质性。这使得训练过程更稳定并更快地收敛。实验表明，我们的方法产生了稳定的训练过程，并与最先进的方法相比实现了显着的结果。在培训VGG-11时，我们的方法明显降低了通信成本最高108 GB，并在培训Reset-20时需要7.6美元的通信开销，同时通过减少高达39.7 \％$ 39.7 \％$ vgg- 11.

Federated Learning（FL）是一种流行的分散和保护隐私的机器学习（FL）框架，近年来一直受到广泛的研究关注。现有的大多数作品都集中在监督学习（SL）问题上，在这些问题上假定客户在服务器没有数据时携带标签的数据集。但是，在现实的情况下，由于缺乏专业知识和动力，客户通常无法在服务器托管少量标记数据的情况下标记其数据。因此，如何合理地利用服务器标记的数据和客户端的未标记数据至关重要。在本文中，我们提出了一种新的FL算法，称为FEDSEAL，以解决该半监督联邦学习（SSFL）问题。我们的算法利用自我安装的学习和互补的负面学习来提高客户对未标记数据无监督学习的准确性和效率，并在服务器方和客户方面进行了模型培训。我们对SSFL设置中的时尚摄影和CIFAR10数据集的实验结果验证了我们方法的有效性，该方法的效率超过了最先进的SSFL方法。

联邦学习（FL）旨在以隐私的方式从大规模的分散设备中学习联合知识。但是，由于高质量标记的数据需要昂贵的人类智能和努力，因此带有错误标签的数据（称为嘈杂标签）无处不在，实际上不可避免地会导致性能退化。尽管提出了许多直接处理嘈杂标签的方法，但这些方法要么需要过多的计算开销，要么违反FL的隐私保护原则。为此，我们将重点放在FL上，目的是减轻嘈杂标签所产生的性能退化，同时保证数据隐私。具体而言，我们提出了一种局部自我调节方法，该方法通过隐式阻碍模型记忆噪声标签并明确地缩小了使用自我蒸馏之间的原始实例和增强实例之间的模型输出差异，从而有效地规范了局部训练过程。实验结果表明，我们提出的方法可以在三个基准数据集上的各种噪声水平中获得明显的抵抗力。此外，我们将方法与现有的最新方法集成在一起，并在实际数据集服装1M上实现卓越的性能。该代码可在https://github.com/sprinter1999/fedlsr上找到。

在医学领域，通常寻求多中心协作来通过利用患者和临床数据的异质性来产生更广泛的发现。但是，最近的隐私法规阻碍了共享数据的可能性，因此，提出了支持诊断和预后的基于机器学习的解决方案。联合学习（FL）旨在通过将基于AI的解决方案带入数据所有者，而仅共享需要汇总的本地AI模型或其部分，以避免这种限制。但是，大多数现有的联合学习解决方案仍处于起步阶段，并且由于缺乏可靠和有效的聚合计划能够保留本地学到的知识，从而显示出薄弱的隐私保护，因为可以从模型更新中重建实际数据，因此显示出几个缺点。此外，这些方法中的大多数，尤其是那些处理医学数据的方法，都依赖于一种集中的分布式学习策略，该策略构成了稳健性，可伸缩性和信任问题。在本文中，我们提出了一种分散的分布式方法，该方法从经验重播和生成对抗性研究中利用概念，有效地整合了本地节点的功能，从而提供了能够在维持隐私的同时跨多个数据集进行概括的模型。为了模拟现实的非i.i.d，使用多个数据集对两项任务进行了两项任务测试：结核病和黑色素瘤分类。数据方案。结果表明，我们的方法实现了与标准（未赋予）学习和联合方法相当的性能（因此，更有利）。

联合学习的一个关键挑战是客户之间的数据异质性和失衡，这导致本地网络与全球模型不稳定的融合之间的不一致。为了减轻局限性，我们提出了一种新颖的建筑正则化技术，该技术通过在几个不同级别上接管本地和全球子网，在每个本地模型中构建多个辅助分支通过在线知识蒸馏。该提出的技术即使在非IID环境中也可以有效地鲁棒化，并且适用于各种联合学习框架，而不会产生额外的沟通成本。与现有方法相比，我们进行了全面的经验研究，并在准确性和效率方面表现出显着的性能提高。源代码可在我们的项目页面上找到。