皮肤病学疾病对全球健康构成了重大威胁，影响了世界上近三分之一的人口。各种研究表明，早期诊断和干预通常对预后和预后至关重要。为此，在过去的十年中，基于深度学习的智能手机应用程序的快速发展，该应用程序使用户可以方便，及时地识别出围绕皮肤出现的问题。为了收集深度学习所需的足够数据，同时保护患者的隐私，经常使用联合学习，在该数据集合数据集本地的同时汇总了全球模型。但是，现有的联合学习框架主要旨在优化整体性能，而常见的皮肤病学数据集则严重不平衡。在将联合学习应用于此类数据集时，可能会出现明显的诊断准确性差异。为了解决这样的公平问题，本文提出了一个公平意识的联邦学习框架，用于皮肤病学诊断。该框架分为两个阶段：在第一个FL阶段，具有不同皮肤类型的客户在联合学习过程中接受了训练，以构建所有皮肤类型的全球模型。在此过程中，使用自动重量聚合器将更高的权重分配给损失较高的客户，并且聚合器的强度取决于损失之间的差异水平。在后一个FL阶段，每个客户根据FL阶段的全球模型微调了其个性化模型。为了获得更好的公平性，为每个客户选择了来自不同时期的模型，以在0.05内保持不同皮肤类型的准确性差异。实验表明，与最先进的框架相比，我们提出的框架有效地提高了公平性和准确性。
translated by 谷歌翻译
在皮肤病学诊断中，移动皮肤病学助理收集的私人数据存在于患者的分布式移动设备上。联合学习（FL）可以使用分散数据来训练模型，同时保持数据本地化。现有的FL方法假设所有数据都有标签。但是，由于高标签成本，医疗数据通常没有完整的标签。自我监督的学习（SSL）方法，对比度学习（CL）和蒙版自动编码器（MAE）可以利用未标记的数据来预先培训模型，然后用有限的标签进行微调。但是，组合SSL和FL有独特的挑战。例如，CL需要不同的数据，但每个设备仅具有有限的数据。对于MAE而言，尽管基于视觉变压器（VIT）的MAE在集中学习中具有更高的准确性，但尚未研究MAE在未标记数据的FL中的性能。此外，服务器和客户端之间的VIT同步与传统CNN不同。因此，需要设计特殊的同步方法。在这项工作中，我们提出了两个联邦自制的学习框架，用于具有有限标签的皮肤病学诊断。第一个具有较低的计算成本，适用于移动设备。第二个具有高精度，适合高性能服务器。根据CL，我们提出了与功能共享（FedClf）的联合对比度学习。共享功能可用于不同的对比信息，而无需共享原始数据以获得隐私。根据MAE，我们提出了Fedmae。知识拆分将所学的全球知识与每个客户分开。只有全球知识才能汇总为更高的概括性能。关于皮肤病学数据集的实验表明，所提出的框架的精度优于最先进的框架。
translated by 谷歌翻译
联邦学习（FL）是一种分布式学习方法，它为医学机构提供了在全球模型中合作的前景，同时保留患者的隐私。尽管大多数医疗中心执行类似的医学成像任务，但它们的差异（例如专业，患者数量和设备）导致了独特的数据分布。数据异质性对FL和本地模型的个性化构成了挑战。在这项工作中，我们研究了FL生产中间半全球模型的一种自适应分层聚类方法，因此具有相似数据分布的客户有机会形成更专业的模型。我们的方法形成了几个群集，这些集群由具有最相似数据分布的客户端组成；然后，每个集群继续分开训练。在集群中，我们使用元学习来改善参与者模型的个性化。我们通过评估我们在HAM10K数据集上的建议方法和极端异质数据分布的HAM10K数据集上的我们提出的方法，将聚类方法与经典的FedAvg和集中式培训进行比较。我们的实验表明，与标准的FL方法相比，分类精度相比，异质分布的性能显着提高。此外，我们表明，如果在群集中应用，则模型会更快地收敛，并且仅使用一小部分数据，却优于集中式培训。
translated by 谷歌翻译
跨不同边缘设备（客户）局部数据的分布不均匀，导致模型训练缓慢，并降低了联合学习的准确性。幼稚的联合学习（FL）策略和大多数替代解决方案试图通过加权跨客户的深度学习模型来实现更多公平。这项工作介绍了在现实世界数据集中遇到的一种新颖的非IID类型，即集群键，其中客户组具有具有相似分布的本地数据，从而导致全局模型收敛到过度拟合的解决方案。为了处理非IID数据，尤其是群集串数据的数据，我们提出了FedDrl，这是一种新型的FL模型，它采用了深厚的强化学习来适应每个客户的影响因素（将用作聚合过程中的权重）。在一组联合数据集上进行了广泛的实验证实，拟议的FEDDR可以根据CIFAR-100数据集的平均平均为FedAvg和FedProx方法提高了有利的改进，例如，高达4.05％和2.17％。
translated by 谷歌翻译
高效联合学习是在边缘设备上培训和部署AI模型的关键挑战之一。然而，在联合学习中维护数据隐私提出了几种挑战，包括数据异质性，昂贵的通信成本和有限的资源。在本文中，我们通过（a）通过基于本地客户端的深度增强学习引入突出参数选择代理的上述问题，并在中央服务器上聚合所选择的突出参数，（b）分割正常的深度学习模型〜 （例如，CNNS）作为共享编码器和本地预测器，并通过联合学习训练共享编码器，同时通过本地自定义预测器将其知识传送到非IID客户端。所提出的方法（a）显着降低了联合学习的通信开销，并加速了模型推断，而方法（b）则在联合学习中解决数据异质性问题。此外，我们利用梯度控制机制来校正客户之间的梯度异质性。这使得训练过程更稳定并更快地收敛。实验表明，我们的方法产生了稳定的训练过程，并与最先进的方法相比实现了显着的结果。在培训VGG-11时，我们的方法明显降低了通信成本最高108 GB，并在培训Reset-20时需要7.6美元的通信开销，同时通过减少高达39.7 \％$ 39.7 \％$ vgg- 11.
translated by 谷歌翻译
Federated learning is a popular paradigm for machine learning. Ideally, federated learning works best when all clients share a similar data distribution. However, it is not always the case in the real world. Therefore, the topic of federated learning on heterogeneous data has gained more and more effort from both academia and industry. In this project, we first do extensive experiments to show how data skew and quantity skew will affect the performance of state-of-art federated learning algorithms. Then we propose a new algorithm FedMix which adjusts existing federated learning algorithms and we show its performance. We find that existing state-of-art algorithms such as FedProx and FedNova do not have a significant improvement in all testing cases. But by testing the existing and new algorithms, it seems that tweaking the client side is more effective than tweaking the server side.
translated by 谷歌翻译
联邦学习（FL）的最新进展为大规模的分布式客户带来了大规模的机器学习机会，具有绩效和数据隐私保障。然而，大多数当前的工作只关注FL中央控制器的兴趣，忽略了客户的利益。这可能导致不公平，阻碍客户积极参与学习过程并损害整个流动系统的可持续性。因此，在佛罗里达州确保公平的主题吸引了大量的研究兴趣。近年来，已经提出了各种公平知识的FL（FAFL）方法，以努力实现不同观点的流体公平。但是，没有全面的调查，帮助读者能够深入了解这种跨学科领域。本文旨在提供这样的调查。通过审查本领域现有文献所采用的基本和简化的假设，提出了涵盖FL的主要步骤的FAFL方法的分类，包括客户选择，优化，贡献评估和激励分配。此外，我们讨论了实验评估FAFL方法表现的主要指标，并建议了一些未来的未来研究方向。
translated by 谷歌翻译
数百万患者患有世界各地的罕见疾病。然而，罕见疾病的样品远小于常见疾病。此外，由于医疗数据的敏感性，医院通常不愿意分享患者信息，以引用隐私问题的数据融合。这些挑战使传统的AI模型难以提取疾病预测目的的稀有疾病特征。在本文中，我们通过提出基于联邦荟萃学习的稀有疾病预测的新方法来克服这种限制。为了提高稀有疾病的预测准确性，我们设计了一种基于关注的元学习（ATML）方法，根据基础学习者的测量培训效果，动态调整对不同任务的关注。另外，提出了一种基于动态权重的融合策略，以进一步提高联合学习的准确性，这基于每个本地模型的准确性动态选择客户端。实验表明，随着五次镜头，我们的方法以准确性和速度为原始联合元学习算法进行了出差。与每个医院的本地模型相比，所提出的模型的平均预测精度增加了13.28％。
translated by 谷歌翻译
联合学习（FL）可以在不共享参与网站的数据的情况下协作学习深层学习模型。在医学图像分析中的FL相对较新，可开放增强功能。在这项研究中，我们提出了一种新的联邦学习方法，用于培训更广泛的模型。所提出的方法利用了客户选择中的随机性，也利用了联合平均过程。我们将FedDropOutvg与FL情景中的几种算法进行比较，用于现实世界多站点组织病理学图像分类任务。我们展示了通过FEDDROPOUDAVG，最终模型可以比其他FL方法更好地实现性能，并且更接近经典的深度学习模型，需要为集中培训共享所有数据。我们在大型数据集上测试训练有素的模型，由21个不同中心组成的120万像素瓷砖。为了评估所提出的方法的泛化能力，我们使用来自FL中的中心的中心的RET-OUT测试集，并且来自其他独立中心的看不见的数据，其数据未在联邦培训中使用。我们表明，拟议的方法比其他最先进的联邦培训方法更广泛。据我们所知，我们的是第一个在医学图像分析任务的联合设置中使用随机客户端和本地模型参数选择过程的研究。
translated by 谷歌翻译
联合学习（FL）已成为一个重要的机器学习范例，其中全局模型根据分布式客户端的私有数据培训。然而，由于分布转移，现有的大多数流体算法不能保证对不同客户或不同的样本组的性能公平。最近的研究侧重于在客户之间实现公平性，但它们忽视了敏感属性（例如，性别和/或种族）形成的不同群体的公平，这在实际应用中是重要和实用的。为了弥合这一差距，我们制定统一小组公平的目标，该目标是在不同群体中学习具有类似表现的公平全球模式。为了实现任意敏感属性的统一组公平，我们提出了一种新颖的FL算法，命名为集团分布强制性联邦平均（G-DRFA），其跨组减轻了与收敛速度的理论分析的分布转移。具体而言，我们将联邦全球模型的性能视为目标，并采用分布稳健的技术，以最大化最坏性地组的性能在组重新传递集团的不确定性上。我们在实验中验证了G-DRFA算法的优点，结果表明，G-DRFA算法优于统一组公平现有的公平联合学习算法。
translated by 谷歌翻译
联合学习（FL），使不同的医疗机构或客户能够在没有数据隐私泄漏的情况下进行协作培训模型，最近在医学成像社区中引起了极大的关注。尽管已经对客户间数据异质性进行了彻底的研究，但由于存在罕见疾病，阶级失衡问题仍然不足。在本文中，我们提出了一个新型的FL框架，用于医学图像分类，尤其是在处理罕见疾病的数据异质性方面。在Fedrare中，每个客户在本地训练一个模型，以通过客户内部监督对比度学习提取高度分离的潜在特征，以进行分类。考虑到有限的稀有疾病数据，我们建立了积极的样本队列以进行增强（即数据重采样）。 Fedrare中的服务器将从客户端收集潜在功能，并自动选择最可靠的潜在功能作为发送给客户的指南。然后，每个客户都会通过局部间的对比损失共同训练，以使其潜在特征与完整课程的联合潜在特征保持一致。通过这种方式，跨客户的参数/特征差异有效地最小化，从而可以更好地收敛和性能改进。关于皮肤病变诊断的公共可用数据集的实验结果表明，Fedrare的表现出色。在四个客户没有罕见病样本的10客户联合环境下，Fedrare的平均水平准确度平均增长了9.60％和5.90％，与FedAvg和FedAvg的基线框架和FedArt方法分别相比。考虑到在临床情况下存在罕见疾病的董事会，我们认为Fedrare将使未来的FL框架设计受益于医学图像分类。本文的源代码可在https://github.com/wnn2000/fedrare上公开获得。
translated by 谷歌翻译
联合学习（FL）以来已提议已应用于许多领域，例如信用评估，医疗等。由于网络或计算资源的差异，客户端可能不会同时更新其渐变可能需要花费等待或闲置的时间。这就是为什么需要异步联合学习（AFL）方法。AFL中的主要瓶颈是沟通。如何在模型性能和通信成本之间找到平衡是AFL的挑战。本文提出了一种新的AFL框架VAFL。我们通过足够的实验验证了算法的性能。实验表明，VAFL可以通过48.23 \％的平均通信压缩速率降低约51.02 \％的通信时间，并允许模型更快地收敛。代码可用于\ url {https://github.com/robai-lab/vafl}
translated by 谷歌翻译
联邦机器学习是一种多功能和灵活的工具，可以利用来自不同来源的分布式数据，特别是当通信技术快速发展并且现在可以在移动设备上收集前所未有的数据。联邦学习方法不仅利用数据而且挖掘了网络中所有设备的计算能力，以实现更有效的模型培训。尽管如此，虽然大多数传统的联邦学习方法适用于同类数据和任务，但将方法适应不同的异构数据和任务分配是具有挑战性的。这种限制限制了联合学习在现实世界环境中的应用，特别是在医疗保健环境中。灵感来自Meta-Learning的基本思想，在这项研究中，我们提出了一种新的算法，这是联邦学习和荟萃学习的一体化，解决这个问题。此外，由于转移学习的模型泛化的优点，我们通过引入部分参数共享进一步提高了我们的算法。我们命名该方法部分Meta联合学习（PMFL）。最后，我们将算法应用于两个医疗数据集。我们表明我们的算法可以获得最快的训练速度，并在处理异构医疗数据集时实现最佳性能。
translated by 谷歌翻译
联合学习（FL）根据多个本地客户端协同聚合共享全球模型，同时保持培训数据分散以保护数据隐私。但是，标准的FL方法忽略了嘈杂的客户问题，这可能会损害聚合模型的整体性能。在本文中，我们首先分析了嘈杂的客户声明，然后用不同的噪声分布模型噪声客户端（例如，Bernoulli和截断的高斯分布）。要使用嘈杂的客户，我们提出了一个简单但有效的FL框架，名为联邦嘈杂的客户学习（FED-NCL），它是一个即插即用算法，并包含两个主要组件：动态的数据质量测量（DQM）量化每个参与客户端的数据质量，以及噪声鲁棒聚合（NRA），通过共同考虑本地训练数据和每个客户端的数据质量来自适应地聚合每个客户端的本地模型。我们的FED-NCL可以轻松应用于任何标准的流行流以处理嘈杂的客户端问题。各种数据集的实验结果表明，我们的算法提高了具有嘈杂客户端的不同现实系统的性能。
translated by 谷歌翻译
自从联合学习（FL）被引入具有隐私保护的分散学习技术以来，分布式数据的统计异质性是实现FL应用中实现稳健性能和稳定收敛性的主要障碍。已经研究了模型个性化方法来克服这个问题。但是，现有的方法主要是在完全标记的数据的先决条件下，这在实践中是不现实的，由于需要专业知识。由部分标记的条件引起的主要问题是，标记数据不足的客户可能会遭受不公平的性能增益，因为他们缺乏足够的本地分销见解来自定义全球模型。为了解决这个问题，1）我们提出了一个新型的个性化的半监督学习范式，该范式允许部分标记或未标记的客户寻求与数据相关的客户（助手代理）的标签辅助，从而增强他们对本地数据的认识； 2）基于此范式，我们设计了一个基于不确定性的数据关系度量，以确保选定的帮助者可以提供值得信赖的伪标签，而不是误导当地培训； 3）为了减轻助手搜索引入的网络过载，我们进一步开发了助手选择协议，以实现有效的绩效牺牲的有效沟通。实验表明，与其他具有部分标记数据的相关作品相比，我们提出的方法可以获得卓越的性能和更稳定的收敛性，尤其是在高度异质的环境中。
translated by 谷歌翻译
Continuous behavioural authentication methods add a unique layer of security by allowing individuals to verify their unique identity when accessing a device. Maintaining session authenticity is now feasible by monitoring users' behaviour while interacting with a mobile or Internet of Things (IoT) device, making credential theft and session hijacking ineffective. Such a technique is made possible by integrating the power of artificial intelligence and Machine Learning (ML). Most of the literature focuses on training machine learning for the user by transmitting their data to an external server, subject to private user data exposure to threats. In this paper, we propose a novel Federated Learning (FL) approach that protects the anonymity of user data and maintains the security of his data. We present a warmup approach that provides a significant accuracy increase. In addition, we leverage the transfer learning technique based on feature extraction to boost the models' performance. Our extensive experiments based on four datasets: MNIST, FEMNIST, CIFAR-10 and UMDAA-02-FD, show a significant increase in user authentication accuracy while maintaining user privacy and data security.
translated by 谷歌翻译
联邦学习（FL）是利用属于患者，人，公司或行业的敏感数据的合适解决方案，这些数据在刚性隐私约束下工作的难题。 FL主要或部分地支持数据隐私和安全问题，并提供促进促进多个边缘设备或组织的模型问题的替代方案，以使用许多本地数据培训全局模型而不具有它们。由其分布式自然引起的FL的非IID数据具有显着的性能下降和稳定性偏斜。本文介绍了一种新颖的方法，通过增强图像动态平衡客户端的数据分布，以解决FL的非IID数据问题。介绍的方法非常稳定模型培训，并将模型的测试精度从83.22％提高到89.43％，对于高度IID FL设定中的胸部X射线图像的多胸疾病检测。 IID，非IID和非IID的结果，联合培训表明，该方法可能有助于鼓励组织或研究人员开发更好的系统，以获得与数据隐私的数据的价值不仅适用于医疗保健，而且领域。
translated by 谷歌翻译
联合学习（FL）是以隐私性的方式从分散数据培训全球模型的重要范例。现有的FL方法通常假定可以对任何参与客户端进行培训。但是，在实际应用中，客户的设备通常是异质的，并且具有不同的计算能力。尽管像伯特这样的大型模型在AI中取得了巨大的成功，但很难将它们应用于弱客户的异质FL。直接的解决方案（例如删除弱客户端或使用小型模型适合所有客户端）将带来一些问题，例如由于数据丢失或有限的模型表示能力而导致的掉落客户端的代表性不足和劣等精度。在这项工作中，我们提出了一种包含客户的联合学习方法，以解决此问题。包容性FL的核心思想是将不同尺寸的模型分配给具有不同计算功能的客户，为功能强大的客户提供的较大模型以及针对弱客户的较小客户。我们还提出了一种有效的方法，可以在多个具有不同大小的本地模型之间共享知识。这样，所有客户都可以参与FL中的模型学习，最终模型可以足够大。此外，我们提出了一种动量知识蒸馏方法，以更好地转移强大客户的大型模型中的知识，向弱客户的小型模型。在许多实际基准数据集上进行的广泛实验证明了该方法在FL框架下使用异质设备的客户学习准确模型的有效性。
translated by 谷歌翻译
个性化联合学习认为在异质网络中每个客户独有的学习模型。据称，最终的客户特定模型是为了改善联合网络中的准确性，公平性和鲁棒性等指标。但是，尽管该领域有很多工作，但仍不清楚：（1）哪些个性化技术在各种环境中最有效，以及（2）个性化对现实的联合应用程序的真正重要性。为了更好地回答这些问题，我们提出了Motley，这是个性化联合学习的基准。 Motley由一套来自各种问题域的跨设备和跨核管联合数据集组成，以及彻底的评估指标，以更好地理解个性化的可能影响。我们通过比较许多代表性的个性化联合学习方法来建立基准基准。这些最初的结果突出了现有方法的优势和劣势，并为社区提出了几个开放问题。 Motley旨在提供一种可再现的手段，以推进个性化和异质性的联合学习以及转移学习，元学习和多任务学习的相关领域。
translated by 谷歌翻译
个性化联合学习（FL）促进了多个客户之间的合作，以学习个性化模型而无需共享私人数据。该机制减轻了系统中通常遇到的统计异质性，即不同客户端的非IID数据。现有的个性化算法通常假设所有客户自愿进行个性化。但是，潜在的参与者可能仍然不愿个性化模型，因为他们可能无法正常工作。在这种情况下，客户选择使用全局模型。为了避免做出不切实际的假设，我们介绍了个性化率，该率是愿意培训个性化模型，将其介绍给联合设置并提出DYPFL的客户的比例。这种动态个性化的FL技术激励客户参与个性化本地模型，同时允许在整体模型表现更好时采用全球模型。我们表明，DYPFL中的算法管道可以保证良好的收敛性能，从而使其在广泛的条件下优于替代性个性化方法，包括异质性，客户端数量，本地时期和批量尺寸的变化。
translated by 谷歌翻译