尽管最近在半监督联合学习(FL)进行医学图像诊断方面取得了进展,但未确定未标记的客户之间的类别分布不平衡的问题仍未解决。在本文中,我们研究了类不平衡的半监督FL(IMFED-SEMI)的实用但具有挑战性的问题,该问题使所有客户端仅具有未标记的数据,而服务器只有少量标记的数据。新型动态银行学习计划解决了这个IMFED-SEMI问题,该计划通过利用班级比例信息来改善客户培训。该方案由两个部分组成,即,为每个本地客户端提取各种类比例的动态银行构建,以及分类分类,以强加本地模型以学习不同的类比例。我们评估了两个公共现实世界中医学数据集的方法,包括25,000 CT切片的颅内出血诊断和10,015个皮肤镜图像的皮肤病变诊断。与第二好的精度以及全面的分析研究相比,我们的方法的有效性已得到了显着改善(7.61%和4.69%)的验证(7.61%和4.69%)。代码可在https://github.com/med-air/imfedsemi上找到。
translated by 谷歌翻译
Federated Learning(FL)是一种流行的分散和保护隐私的机器学习(FL)框架,近年来一直受到广泛的研究关注。现有的大多数作品都集中在监督学习(SL)问题上,在这些问题上假定客户在服务器没有数据时携带标签的数据集。但是,在现实的情况下,由于缺乏专业知识和动力,客户通常无法在服务器托管少量标记数据的情况下标记其数据。因此,如何合理地利用服务器标记的数据和客户端的未标记数据至关重要。在本文中,我们提出了一种新的FL算法,称为FEDSEAL,以解决该半监督联邦学习(SSFL)问题。我们的算法利用自我安装的学习和互补的负面学习来提高客户对未标记数据无监督学习的准确性和效率,并在服务器方和客户方面进行了模型培训。我们对SSFL设置中的时尚摄影和CIFAR10数据集的实验结果验证了我们方法的有效性,该方法的效率超过了最先进的SSFL方法。
translated by 谷歌翻译
联邦学习对分布式数据利用率和隐私保护表达了极大的潜力。大多数现有的联合学习方法侧重于监督设置,这意味着存储在每个客户端中的所有数据都有标签。但是,在现实世界应用中,客户数据无法完全标记。因此,如何利用未标记的数据应该是联邦学习的新挑战。虽然一些研究正在试图克服这一挑战,但它们可能会遭受信息泄漏或误导性信息使用问题。为了解决这些问题,在本文中,我们提出了一种名为Fedtrinet的新型联合半监督学习方法,该方法由两个学习阶段组成。在第一阶段,我们使用带有FADVG的标记数据预先列教Fedtrinet。在第二阶段,我们的目标是使大部分未标记的数据来帮助模型学习。特别是,我们建议使用三个网络和动态质量控制机制来为未标记数据产生高质量的伪标签,该数据被添加到训练集中。最后,Fedtrinet使用新的训练设置来重新培训模型。在三个公共数据集上的实验结果表明,提出的Fedtrinet在IID和非IID设置下优于最先进的基线。
translated by 谷歌翻译
空中接入网络已被识别为各种事物互联网(物联网)服务和应用程序的重要驾驶员。特别是,以无人机互联网为中心的空中计算网络基础设施已经掀起了自动图像识别的新革命。这种新兴技术依赖于共享地面真理标记的无人机(UAV)群之间的数据,以培训高质量的自动图像识别模型。但是,这种方法将带来数据隐私和数据可用性挑战。为了解决这些问题,我们首先向一个半监督的联邦学习(SSFL)框架提供隐私保留的UAV图像识别。具体而言,我们提出了模型参数混合策略,以改善两个现实场景下的FL和半监督学习方法的天真组合(标签 - 客户端和标签 - 服务器),其被称为联合混合(FEDMIX)。此外,在不同环境中使用不同的相机模块,在不同环境中使用不同的相机模块,在不同的相机模块,即统计异质性,存在显着差异。为了减轻统计异质性问题,我们提出了基于客户参与训练的频率的聚合规则,即FedFReq聚合规则,可以根据其频率调整相应的本地模型的权重。数值结果表明,我们提出的方法的性能明显优于当前基线的性能,并且对不同的非IID等级的客户数据具有强大。
translated by 谷歌翻译
自从联合学习(FL)被引入具有隐私保护的分散学习技术以来,分布式数据的统计异质性是实现FL应用中实现稳健性能和稳定收敛性的主要障碍。已经研究了模型个性化方法来克服这个问题。但是,现有的方法主要是在完全标记的数据的先决条件下,这在实践中是不现实的,由于需要专业知识。由部分标记的条件引起的主要问题是,标记数据不足的客户可能会遭受不公平的性能增益,因为他们缺乏足够的本地分销见解来自定义全球模型。为了解决这个问题,1)我们提出了一个新型的个性化的半监督学习范式,该范式允许部分标记或未标记的客户寻求与数据相关的客户(助手代理)的标签辅助,从而增强他们对本地数据的认识; 2)基于此范式,我们设计了一个基于不确定性的数据关系度量,以确保选定的帮助者可以提供值得信赖的伪标签,而不是误导当地培训; 3)为了减轻助手搜索引入的网络过载,我们进一步开发了助手选择协议,以实现有效的绩效牺牲的有效沟通。实验表明,与其他具有部分标记数据的相关作品相比,我们提出的方法可以获得卓越的性能和更稳定的收敛性,尤其是在高度异质的环境中。
translated by 谷歌翻译
在全球范围内,皮肤癌是最致命的疾病之一。每年有数百万人被诊断出患有这种癌症。窗台,早期检测可以大大降低药物成本和死亡率。最近使用深度学习方法的自动癌症分类的改进已经达到了需要在一个位置组装的大量注释数据的人级性能,但发现这种情况通常是不可行的。最近,已经提出联合学习(FL)以隐私保存的方式培训分散模型,具体取决于客户端的标记数据,通常不可用且昂贵。为了解决这个问题,我们提出了一个半监督联合学习方法的Fedperl。我们的方法是通过从教育心理学和委员会机器的平均的同伴学习的启发。 FedPerl基于客户的相似性构建社区。然后它鼓励社区成员彼此学习,以为未标记的数据生成更准确的伪标签。我们还提出了对PEER匿名化(PA)技术来提高隐私。作为我们方法的核心组件,PA与其他方法正交而无需额外复杂性并且在增强性能的同时降低通信成本。最后,我们提出了一种动态的同伴学习策略,可以控制学习流,以避免性能下的任何劣化,特别是对于各个客户端。我们的实验设置由来自5个公共数据集收集的71,000个皮肤病变图像组成。凭借很少的注释数据,Fedperl分别优于最先进的SSFL和基线,分别为1.8%和15.8%。此外,它将更好地概括为一个看不见的客户,同时对噪音不太敏感。
translated by 谷歌翻译
Federated学习(FL)最近已成为流行的隐私合作学习范式。但是,它遭受了客户之间非独立和相同分布的(非IID)数据的困扰。在本文中,我们提出了一个新颖的框架,称为合成数据辅助联合学习(SDA-FL),以通过共享合成数据来解决这一非IID挑战。具体而言,每个客户端都预测了本地生成对抗网络(GAN)以生成差异化私有合成数据,这些数据被上传到参数服务器(PS)以构建全局共享的合成数据集。为了为合成数据集生成自信的伪标签,我们还提出了PS执行的迭代伪标记机制。本地私人数据集和合成数据集与自信的伪标签的结合可导致客户之间的数据分布几乎相同,从而提高了本地模型之间的一致性并使全球聚合受益。广泛的实验证明,在监督和半监督的设置下,所提出的框架在几个基准数据集中的大幅度优于基线方法。
translated by 谷歌翻译
联合学习(FL),使不同的医疗机构或客户能够在没有数据隐私泄漏的情况下进行协作培训模型,最近在医学成像社区中引起了极大的关注。尽管已经对客户间数据异质性进行了彻底的研究,但由于存在罕见疾病,阶级失衡问题仍然不足。在本文中,我们提出了一个新型的FL框架,用于医学图像分类,尤其是在处理罕见疾病的数据异质性方面。在Fedrare中,每个客户在本地训练一个模型,以通过客户内部监督对比度学习提取高度分离的潜在特征,以进行分类。考虑到有限的稀有疾病数据,我们建立了积极的样本队列以进行增强(即数据重采样)。 Fedrare中的服务器将从客户端收集潜在功能,并自动选择最可靠的潜在功能作为发送给客户的指南。然后,每个客户都会通过局部间的对比损失共同训练,以使其潜在特征与完整课程的联合潜在特征保持一致。通过这种方式,跨客户的参数/特征差异有效地最小化,从而可以更好地收敛和性能改进。关于皮肤病变诊断的公共可用数据集的实验结果表明,Fedrare的表现出色。在四个客户没有罕见病样本的10客户联合环境下,Fedrare的平均水平准确度平均增长了9.60%和5.90%,与FedAvg和FedAvg的基线框架和FedArt方法分别相比。考虑到在临床情况下存在罕见疾病的董事会,我们认为Fedrare将使未来的FL框架设计受益于医学图像分类。本文的源代码可在https://github.com/wnn2000/fedrare上公开获得。
translated by 谷歌翻译
Existing federated classification algorithms typically assume the local annotations at every client cover the same set of classes. In this paper, we aim to lift such an assumption and focus on a more general yet practical non-IID setting where every client can work on non-identical and even disjoint sets of classes (i.e., client-exclusive classes), and the clients have a common goal which is to build a global classification model to identify the union of these classes. Such heterogeneity in client class sets poses a new challenge: how to ensure different clients are operating in the same latent space so as to avoid the drift after aggregation? We observe that the classes can be described in natural languages (i.e., class names) and these names are typically safe to share with all parties. Thus, we formulate the classification problem as a matching process between data representations and class representations and break the classification model into a data encoder and a label encoder. We leverage the natural-language class names as the common ground to anchor the class representations in the label encoder. In each iteration, the label encoder updates the class representations and regulates the data representations through matching. We further use the updated class representations at each round to annotate data samples for locally-unaware classes according to similarity and distill knowledge to local models. Extensive experiments on four real-world datasets show that the proposed method can outperform various classical and state-of-the-art federated learning methods designed for learning with non-IID data.
translated by 谷歌翻译
联合学习是一种新兴的范式,允许大规模分散学习,而无需在不同的数据所有者中共享数据,这有助于解决医学图像分析中数据隐私的关注。但是,通过现有方法对客户的标签一致性的要求很大程度上缩小了其应用程序范围。实际上,每个临床部位只能以部分或没有与其他站点重叠的某些感兴趣的器官注释某些感兴趣的器官。将这种部分标记的数据纳入统一联邦是一个未开发的问题,具有临床意义和紧迫性。这项工作通过使用新型联合多重编码U-NET(FED-MENU)方法来应对挑战,以进行多器官分割。在我们的方法中,提出了一个多编码的U-NET(菜单网络),以通过不同的编码子网络提取器官特异性功能。每个子网络都可以看作是特定风琴的专家,并为该客户培训。此外,为了鼓励不同子网络提取的特定器官特定功能具有信息性和独特性,我们通过设计辅助通用解码器(AGD)来规范菜单网络的训练。四个公共数据集上的广泛实验表明,我们的Fed-Menu方法可以使用具有优越性能的部分标记的数据集有效地获得联合学习模型,而不是由局部或集中学习方法培训的其他模型。源代码将在纸质出版时公开提供。
translated by 谷歌翻译
联合学习(FL)使分布式客户端能够学习共享模型以进行预测,同时保留每个客户端的培训数据本地。然而,现有的FL需要完全标记的培训数据,这是由于高标签成本和专业要求的要求而不方便或有时不可行。在许多现实设置中,缺乏标签会使流行不切实际。自我监督学习可以通过从未标记的数据学习来解决这一挑战,从而可以广泛使用FL。对比学习(CL)是一种自我监督的学习方法,可以有效地学习来自未标记数据的数据表示。然而,Clipers上收集的分布式数据通常在客户端之间通常不是独立和相同分布(非IID),并且每个客户端只有很少的数据类,这会降低CL和学习的表示的性能。为了解决这个问题,我们提出了由两种方法组成的联邦对比学习框架:特征融合和邻居匹配,通过该邻居匹配,以便获得更好的数据表示来实现客户端之间的统一特征空间。特征融合提供远程功能,作为每个客户端的准确对比信息,以获得更好的本地学习。邻域匹配进一步将每个客户端的本地功能对齐至远程功能,从而可以了解客户端之间的群集功能。广泛的实验表明了拟议框架的有效性。它在IID数据上以11 \%的方式表达了其他方法,并匹配集中学习的性能。
translated by 谷歌翻译
联合学习(FL)是一个分布式的机器学习范式,可从分散的私人数据集中进行学习模型,在该数据集中将标签工作委托给客户。尽管大多数现有的FL方法都假定用户的设备很容易获得高质量的标签。实际上,标签噪声自然会发生在FL中,并遵循非i.i.d。客户之间的分布。由于非IID的挑战,现有的最先进的集中式方法表现出不令人满意的性能,而先前的FL研究依靠数据交换或重复的服务器端援助来提高模型的性能。在这里,我们提出了Fedln,这是一个框架,可以在不同的FL训练阶段处理标签噪声;即,FL初始化,设备模型培训和服务器模型聚合。具体而言,FedLN在单个联合回合中计算每客户噪声级估计,并通过纠正(或限制)噪声样本的效果来改善模型的性能。与其他现有方法相比,对各种公开视觉和音频数据集的广泛实验平均提高了24%,标签噪声水平为70%。我们进一步验证了FedLN在人类通知的现实世界嘈杂数据集中的效率,并报告了模型的识别率平均增长了9%,这强调了FEDLN对于改善提供给日常用户的FL服务很有用。
translated by 谷歌翻译
我们研究了在联合环境中从积极和未标记的(PU)数据中学习的问题,由于资源和时间的限制,每个客户仅标记其数据集的一小部分。与传统的PU学习中的设置不同,负面类是由单个类组成的,而由客户在联合设置中无法识别的否定样本可能来自客户未知的多个类。因此,在这种情况下,几乎无法应用现有的PU学习方法。为了解决这个问题,我们提出了一个新颖的框架,即使用正面和未标记的数据(FEDPU)联合学习,以通过利用其他客户的标记数据来最大程度地降低多个负面类别的预期风险。我们理论上分析了拟议的FedPU的概括结合。经验实验表明,FedPU比常规监督和半监督联盟的学习方法取得更好的性能。
translated by 谷歌翻译
Federated learning achieves joint training of deep models by connecting decentralized data sources, which can significantly mitigate the risk of privacy leakage. However, in a more general case, the distributions of labels among clients are different, called ``label distribution skew''. Directly applying conventional federated learning without consideration of label distribution skew issue significantly hurts the performance of the global model. To this end, we propose a novel federated learning method, named FedMGD, to alleviate the performance degradation caused by the label distribution skew issue. It introduces a global Generative Adversarial Network to model the global data distribution without access to local datasets, so the global model can be trained using the global information of data distribution without privacy leakage. The experimental results demonstrate that our proposed method significantly outperforms the state-of-the-art on several public benchmarks. Code is available at \url{https://github.com/Sheng-T/FedMGD}.
translated by 谷歌翻译
在皮肤病学诊断中,移动皮肤病学助理收集的私人数据存在于患者的分布式移动设备上。联合学习(FL)可以使用分散数据来训练模型,同时保持数据本地化。现有的FL方法假设所有数据都有标签。但是,由于高标签成本,医疗数据通常没有完整的标签。自我监督的学习(SSL)方法,对比度学习(CL)和蒙版自动编码器(MAE)可以利用未标记的数据来预先培训模型,然后用有限的标签进行微调。但是,组合SSL和FL有独特的挑战。例如,CL需要不同的数据,但每个设备仅具有有限的数据。对于MAE而言,尽管基于视觉变压器(VIT)的MAE在集中学习中具有更高的准确性,但尚未研究MAE在未标记数据的FL中的性能。此外,服务器和客户端之间的VIT同步与传统CNN不同。因此,需要设计特殊的同步方法。在这项工作中,我们提出了两个联邦自制的学习框架,用于具有有限标签的皮肤病学诊断。第一个具有较低的计算成本,适用于移动设备。第二个具有高精度,适合高性能服务器。根据CL,我们提出了与功能共享(FedClf)的联合对比度学习。共享功能可用于不同的对比信息,而无需共享原始数据以获得隐私。根据MAE,我们提出了Fedmae。知识拆分将所学的全球知识与每个客户分开。只有全球知识才能汇总为更高的概括性能。关于皮肤病学数据集的实验表明,所提出的框架的精度优于最先进的框架。
translated by 谷歌翻译
皮肤病学疾病对全球健康构成了重大威胁,影响了世界上近三分之一的人口。各种研究表明,早期诊断和干预通常对预后和预后至关重要。为此,在过去的十年中,基于深度学习的智能手机应用程序的快速发展,该应用程序使用户可以方便,及时地识别出围绕皮肤出现的问题。为了收集深度学习所需的足够数据,同时保护患者的隐私,经常使用联合学习,在该数据集合数据集本地的同时汇总了全球模型。但是,现有的联合学习框架主要旨在优化整体性能,而常见的皮肤病学数据集则严重不平衡。在将联合学习应用于此类数据集时,可能会出现明显的诊断准确性差异。为了解决这样的公平问题,本文提出了一个公平意识的联邦学习框架,用于皮肤病学诊断。该框架分为两个阶段:在第一个FL阶段,具有不同皮肤类型的客户在联合学习过程中接受了训练,以构建所有皮肤类型的全球模型。在此过程中,使用自动重量聚合器将更高的权重分配给损失较高的客户,并且聚合器的强度取决于损失之间的差异水平。在后一个FL阶段,每个客户根据FL阶段的全球模型微调了其个性化模型。为了获得更好的公平性,为每个客户选择了来自不同时期的模型,以在0.05内保持不同皮肤类型的准确性差异。实验表明,与最先进的框架相比,我们提出的框架有效地提高了公平性和准确性。
translated by 谷歌翻译
传统的联邦优化方法的性能较差(即降低准确性),尤其是对于高度偏斜的数据。在本文中,我们调查了佛罗里达州的标签分布偏斜,在那里标签的分布各不相同。首先,我们从统计视图研究了标签分布偏斜。我们在理论上和经验上都证明了基于软马克斯跨凝结的先前方法不合适,这可能会导致本地模型非常适合少数群体和缺失的类别。此外,我们从理论上引入了一个偏离,以测量本地更新后梯度的偏差。最后,我们建议通过\ textbf {l} ogits \ textbf {c}启动)FedLc(\ textbf {fed {fed}学习,该学习根据每个类别的出现可能性。 FedLC通过添加成对标签的边距将细粒度校准的跨透镜损失应用于本地更新。联合数据集和现实世界数据集的广泛实验表明,联邦快递会导致更准确的全球模型和大大改善的性能。此外,将其他FL方法集成到我们的方法中可以进一步增强全球模型的性能。
translated by 谷歌翻译
联邦学习(FL)旨在以隐私的方式从大规模的分散设备中学习联合知识。但是,由于高质量标记的数据需要昂贵的人类智能和努力,因此带有错误标签的数据(称为嘈杂标签)无处不在,实际上不可避免地会导致性能退化。尽管提出了许多直接处理嘈杂标签的方法,但这些方法要么需要过多的计算开销,要么违反FL的隐私保护原则。为此,我们将重点放在FL上,目的是减轻嘈杂标签所产生的性能退化,同时保证数据隐私。具体而言,我们提出了一种局部自我调节方法,该方法通过隐式阻碍模型记忆噪声标签并明确地缩小了使用自我蒸馏之间的原始实例和增强实例之间的模型输出差异,从而有效地规范了局部训练过程。实验结果表明,我们提出的方法可以在三个基准数据集上的各种噪声水平中获得明显的抵抗力。此外,我们将方法与现有的最新方法集成在一起,并在实际数据集服装1M上实现卓越的性能。该代码可在https://github.com/sprinter1999/fedlsr上找到。
translated by 谷歌翻译
作为一种有希望的隐私机器学习方法,联合学习(FL)可以使客户跨客户培训,而不会损害其机密的本地数据。但是,现有的FL方法遇到了不均分布数据的推理性能低的问题,因为它们中的大多数依赖于联合平均(FIDAVG)基于联合的聚合。通过以粗略的方式平均模型参数,FedAvg将局部模型的个体特征黯然失色,这极大地限制了FL的推理能力。更糟糕的是,在每一轮FL培训中,FedAvg向客户端向客户派遣了相同的初始本地模型,这很容易导致对最佳全局模型的局限性搜索。为了解决上述问题,本文提出了一种新颖有效的FL范式,名为FEDMR(联合模型重组)。与传统的基于FedAvg的方法不同,FEDMR的云服务器将收集到的本地型号的每一层层混合,并重组它们以实现新的模型,以供客户端培训。由于在每场FL比赛中进行了细粒度的模型重组和本地培训,FEDMR可以迅速为所有客户找出一个全球最佳模型。全面的实验结果表明,与最先进的FL方法相比,FEDMR可以显着提高推理准确性而不会引起额外的通信开销。
translated by 谷歌翻译
Recent advancements in deep learning methods bring computer-assistance a step closer to fulfilling promises of safer surgical procedures. However, the generalizability of such methods is often dependent on training on diverse datasets from multiple medical institutions, which is a restrictive requirement considering the sensitive nature of medical data. Recently proposed collaborative learning methods such as Federated Learning (FL) allow for training on remote datasets without the need to explicitly share data. Even so, data annotation still represents a bottleneck, particularly in medicine and surgery where clinical expertise is often required. With these constraints in mind, we propose FedCy, a federated semi-supervised learning (FSSL) method that combines FL and self-supervised learning to exploit a decentralized dataset of both labeled and unlabeled videos, thereby improving performance on the task of surgical phase recognition. By leveraging temporal patterns in the labeled data, FedCy helps guide unsupervised training on unlabeled data towards learning task-specific features for phase recognition. We demonstrate significant performance gains over state-of-the-art FSSL methods on the task of automatic recognition of surgical phases using a newly collected multi-institutional dataset of laparoscopic cholecystectomy videos. Furthermore, we demonstrate that our approach also learns more generalizable features when tested on data from an unseen domain.
translated by 谷歌翻译