元学习优化了培训过程的超参数,例如其初始化,内核或学习率,基于从许多辅助任务中采样的数据。关键的潜在假设是,称为元训练任务的辅助任务与在部署时间遇到的任务相同的生成分发,称为元测试任务。然而,这可能不是这种情况,当测试环境与元训练条件不同时。为了解决任务的转变,在元训练和元测试阶段之间产生分配,介绍了转移元学习的加权自由能量最小化(WFEM)。我们实例化了通过高斯进程(GPS)的非参数贝叶斯回归和分类的提议方法。该方法在玩具正弦回归问题上验证,以及使用MiniiMAGENET和CUB数据集的分类,通过与PACOH实现的标准元学习的标准元学习进行比较。
translated by 谷歌翻译
联合学习(FL)是一个蓬勃发展的分布式机器学习框架,其中中心参数服务器(PS)协调许多本地用户以训练全局一致的模型。传统的联合学习不可避免地依赖于具有PS的集中拓扑。因此,一旦PS失败,它将瘫痪。为了缓解如此单点故障,特别是在PS上,一些现有的工作已经提供了CDSGD和D-PSGD等分散的FL(DFL)实现,以便于分散拓扑中的流体。然而,这些方法仍存在一些问题,例如,在CDSGD中的用户最终模型和D-PSGD中的网络范围的模型平均必需品之间存在一些问题。为了解决这些缺陷,本文设计了一种作为DACFL的新DFL实现,其中每个用户使用自己的训练数据列举其模型,并通过对称和双随机矩阵将中间模型与其邻居交换。 DACFL将每个用户本地培训的进度视为离散时间过程,并采用第一个订单动态平均共识(FODAC)方法来跟踪\ Texit {平均模型}在没有PS的情况下。在本文中,我们还提供了DACFL的理论收敛性分析,即在I.I.D数据的前提下,以加强其合理性。 Mnist,Fashion-Mnist和CiFar-10的实验结果验证了我们在几间不变性和时变网络拓扑中的解决方案的可行性,并在大多数情况下声明DACFL优于D-PSGD和CDSGD。
translated by 谷歌翻译
在本文中,我们提出了一种确定性变分推理方法,通过最小化内核差异来产生低差异点,也称为最大均值差异或MMD。基于Wang Et的一般能量变分推理框架。 al。 (2021),最小化内核差异被转换为通过显式欧拉方案求解动态颂音系统。我们将结果算法EVI-MMD命名,并通过其中统一化常数的常规规定常量规定的实例,并以培训数据的形式明确地已知的示例。与分布近似,数值集成和生成式学习中的应用中的替代方法相比,其性能令人满意。 EVI-MMD算法克服了现有MMD-DESCLITHMS的瓶颈,主要适用于两个样本问题。可以在EVI框架下开发具有更复杂结构和潜在优势的算法。
translated by 谷歌翻译
神经形态数据携带由尖峰编码的时空模式的信息。因此,神经形态计算中的核心问题是训练尖峰神经网络(SNNS)以再现时加速时空尖峰图案响应于给定的尖刺刺激。通过将每个输入分配给特定期望的输出尖刺序列,大多数现有方法通过分配每个输入来模拟SNN的输入输出行为。相比之下,为了充分利用尖峰的时间编码能力,这项工作建议训练SNN,以匹配尖刺信号的分布而不是单独的尖峰信号。为此,本文介绍了一种新颖的混合架构,包括通过SNN实现的条件发生器,以及由传统人工神经网络(ANN)实现的鉴别器。 ANN的作用是在遵循生成的对抗网络(GANS)原则的对抗迭代学习策略中对SNN的培训期间提供反馈。为了更好地捕获多模态的时空分布,所提出的方法被称为Spikegan - 进一步扩展到支持发电机重量的贝叶斯学习。最后,通过提出Spikegan的在线元学习变量来解决具有时变统计数据的设置。实验与基于(静态)信念网络的现有解决方案相比,对所提出的方法的优点带来了洞察的洞察力,以及最大可能性(或经验风险最小化)。
translated by 谷歌翻译
有效可靠的全局路径计划是为了安全执行和部署自主系统。为了产生充分解决给定环境的拓扑的规划图,许多基于样的运动规划师度假胜地,粗略的启发式驱动的策略,这些策略通常不能概括到新的和各种各样的环境。此外,许多这些方法不设计用于抗争于偏心性。我们在环境几何中的这种不确定性实际上可以帮助\ Texit {Drive}在生成可行的采样过程和概率 - 安全规划图中。我们提出了一种概率路线图的方法,其依赖于基于粒子的变分推理,以有效地覆盖配置空间中可行区域的后部分布。我们的方法,Stein变分概率路线图(SV-PRM)导致样品有效地产生规划图和传统采样方法的大量改进。我们展示了各种具有挑战性的规划问题的方法,包括机器人中常见的现实概率占用地图和高速控制问题。
translated by 谷歌翻译
联合学习(FL)能够通过定期聚合培训的本地参数来在多个边缘用户执行大的分布式机器学习任务。为了解决在无线迷雾云系统上实现支持的关键挑战(例如,非IID数据,用户异质性),我们首先基于联合平均(称为FedFog)的高效流行算法来执行梯度参数的本地聚合在云端的FOG服务器和全球培训更新。接下来,我们通过调查新的网络知识的流动系统,在无线雾云系统中雇用FEDFog,这促使了全局损失和完成时间之间的平衡。然后开发了一种迭代算法以获得系统性能的精确测量,这有助于设计有效的停止标准以输出适当数量的全局轮次。为了缓解级体效果,我们提出了一种灵活的用户聚合策略,可以先培训快速用户在允许慢速用户加入全局培训更新之前获得一定程度的准确性。提供了使用若干现实世界流行任务的广泛数值结果来验证FEDFOG的理论融合。我们还表明,拟议的FL和通信的共同设计对于在实现学习模型的可比准确性的同时,基本上提高资源利用是必要的。
translated by 谷歌翻译
我们调查分裂学习的安全 - 一种新颖的协作机器学习框架,通过需要最小的资源消耗来实现峰值性能。在本文中,我们通过介绍客户私人培训集重建的一般攻击策略来揭示议定书的脆弱性并展示其固有的不安全。更突出地,我们表明恶意服务器可以积极地劫持分布式模型的学习过程,并将其纳入不安全状态,从而为客户端提供推动攻击。我们实施不同的攻击调整,并在各种数据集中测试它们以及现实的威胁方案。我们证明我们的攻击能够克服最近提出的防御技术,旨在提高分裂学习议定书的安全性。最后,我们还通过扩展以前设计的联合学习的攻击来说明协议对恶意客户的不安全性。要使我们的结果可重复,我们会在https://github.com/pasquini-dario/splitn_fsha提供的代码。
translated by 谷歌翻译
电负载预测已成为电力系统操作的组成部分。深入学习模型为此目的被发现。然而,为了达到期望的预测准确性,它们需要大量的培训数据。分享负载预测的各个家庭的电力消耗数据可能会损害用户隐私,并且在通信资源方面可能是昂贵的。因此,诸如联邦学习的边缘计算方法正在为此目的获得更多重要性。这些方法可以利用数据,而无需集中存储它。本文评估了联合学习对单个房屋负荷的短期预测以及总负荷的表现。它通过将其与集中和局部学习方案进行比较来讨论该方法的优点和缺点。此外,提出了一种新的客户端聚类方法,以减少联合学习的收敛时间。结果表明,联合学习具有良好的性能,具有0.117kWh的最小根均匀误差(RMSE),为单独的负载预测。
translated by 谷歌翻译
尽管基于卷积神经网络(CNN)的组织病理学图像的分类模型,但量化其不确定性是不可行的。此外,当数据偏置时,CNN可以遭受过度装备。我们展示贝叶斯-CNN可以通过自动规范并通过量化不确定性来克服这些限制。我们开发了一种新颖的技术,利用贝叶斯-CNN提供的不确定性,这显着提高了大部分测试数据的性能(约为77%的测试数据的准确性提高了约6%)。此外,我们通过非线性维度降低技术将数据投射到低尺寸空间来提供对不确定性的新颖解释。该维度降低能够通过可视化解释测试数据,并在低维特征空间中揭示数据的结构。我们表明,贝叶斯-CNN可以通过分别将假阴性和假阳性降低11%和7.7%的最先进的转移学习CNN(TL-CNN)来表现出远得更好。它具有仅为186万个参数的这种性能,而TL-CNN的参数仅为134.33亿。此外,我们通过引入随机自适应激活功能来修改贝叶斯-CNN。修改后的贝叶斯-CNN在所有性能指标上的贝叶斯-CNN略胜一筹,并显着降低了误报和误报的数量(两者减少了3%)。我们还表明,通过执行McNemar的统计显着性测试,这些结果具有统计学意义。这项工作显示了贝叶斯-CNN对现有技术的优势,解释并利用组织病理学图像的不确定性。它应该在各种医学图像分类中找到应用程序。
translated by 谷歌翻译
联合学习描述了多个客户端的模型的分布式培训,同时保留数据私有设备。在这项工作中,我们将服务器策划的联合学习过程视为分层潜在的变量模型,其中服务器提供了通过客户端特定的模型参数的先前分发的参数。我们表明,通过简单的高斯前瞻和众所周知的期望 - 最大化(EM)算法的硬版,在这种模型中学习对应于FEDVG,是联合学习设置的最流行的算法。在FEDAVG上的这种透视统一了最近在该字段中的几个工作,并通过分层模型的不同选择开辟了扩展的可能性。基于这种观点,我们进一步提出了一种雇用现有分布的分级模型的变体来促进稀疏性。通过使用Hard-Em算法来学习,我们获得FedSparse,可以在联邦学习设置中学习稀疏神经网络的过程。 FedSparse将来自客户端的通信成本降低到服务器,反之亦然,以及对稀疏网络推断的计算成本 - 这两者都具有很大的实际重要性在联合学习中。
translated by 谷歌翻译
Modern mobile devices have access to a wealth of data suitable for learning models, which in turn can greatly improve the user experience on the device. For example, language models can improve speech recognition and text entry, and image models can automatically select good photos. However, this rich data is often privacy sensitive, large in quantity, or both, which may preclude logging to the data center and training there using conventional approaches. We advocate an alternative that leaves the training data distributed on the mobile devices, and learns a shared model by aggregating locally-computed updates. We term this decentralized approach Federated Learning.We present a practical method for the federated learning of deep networks based on iterative model averaging, and conduct an extensive empirical evaluation, considering five different model architectures and four datasets. These experiments demonstrate the approach is robust to the unbalanced and non-IID data distributions that are a defining characteristic of this setting. Communication costs are the principal constraint, and we show a reduction in required communication rounds by 10-100× as compared to synchronized stochastic gradient descent.
translated by 谷歌翻译
联合学习(FL)根据多个本地客户端协同聚合共享全球模型,同时保持培训数据分散以保护数据隐私。但是,标准的FL方法忽略了嘈杂的客户问题,这可能会损害聚合模型的整体性能。在本文中,我们首先分析了嘈杂的客户声明,然后用不同的噪声分布模型噪声客户端(例如,Bernoulli和截断的高斯分布)。要使用嘈杂的客户,我们提出了一个简单但有效的FL框架,名为联邦嘈杂的客户学习(FED-NCL),它是一个即插即用算法,并包含两个主要组件:动态的数据质量测量(DQM)量化每个参与客户端的数据质量,以及噪声鲁棒聚合(NRA),通过共同考虑本地训练数据和每个客户端的数据质量来自适应地聚合每个客户端的本地模型。我们的FED-NCL可以轻松应用于任何标准的流行流以处理嘈杂的客户端问题。各种数据集的实验结果表明,我们的算法提高了具有嘈杂客户端的不同现实系统的性能。
translated by 谷歌翻译
联合学习(FL)以来已提议已应用于许多领域,例如信用评估,医疗等。由于网络或计算资源的差异,客户端可能不会同时更新其渐变可能需要花费等待或闲置的时间。这就是为什么需要异步联合学习(AFL)方法。AFL中的主要瓶颈是沟通。如何在模型性能和通信成本之间找到平衡是AFL的挑战。本文提出了一种新的AFL框架VAFL。我们通过足够的实验验证了算法的性能。实验表明,VAFL可以通过48.23 \%的平均通信压缩速率降低约51.02 \%的通信时间,并允许模型更快地收敛。代码可用于\ url {https://github.com/robai-lab/vafl}
translated by 谷歌翻译
我们有兴趣私有化近似后部推理算法,称为期望传播(EP)。 EP通过迭代地改进到局部可能性的近似近似后,并且已知提供比变差推断(VI)的更好的后不确定性。但是,使用EP对于大规模数据集在内存要求方面对挑战施加了挑战,因为它需要维护存储器中的每个局部近似值。为了克服这个问题,提出了随机期望繁殖(SEP),这仅考虑了一个独特的局部因素,捕获每个可能性术语对后后的平均效果,并以类似于EP的方式改进它。在隐私方面,SEP比EP更具易行,因为在一个因素的每个精炼步骤中,其余因子被固定到相同的值,并且不依赖于EP中的其他数据点,这使得敏感性分析成为易敏感性分析。我们在差异私有随机期望繁殖(DP-SEP)下的后验估计中提供了对隐私准确性权衡的理论分析。此外,我们展示了我们的DP-SEP算法在不同水平的保证隐私的后估计的质量方面评估的综合性和现实数据集。
translated by 谷歌翻译
深度操作网络〜(DeepOnet)是我们培训到近似非线性运算符的基本不同类的神经网络,包括参数局部微分方程(PDE)的解决方案操作者。即使在具有相对较小的数据集的培训时,Deeponet也显示出显着的近似和泛化功能。然而,当训练数据被噪声污染训练数据时,DeepOnets的性能恶化,这是一种经常在实践中发生的场景。为了使DeepOnets培训用嘈杂的数据,我们建议使用贝叶斯·朗格文化扩散的贝叶斯框架。这样的框架使用两个粒子,一个颗粒用于探索,另一个用于利用深度的损失功能景观。我们表明,拟议的框架勘探和开发能力使得(1)改善了嘈杂场景中的深度的培训融合和(2)附加对参数PDE的预测解决方案的不确定性估计。此外,我们表明,与用最先进的基于梯度的优化算法(例如ADAM)培训的香草LeepOnets相比,复制 - 交换廊道扩散(显着)也提高了嘈杂情景中的夜间的平均预测准确性。为了减少复制品的潜在高计算成本,在这项工作中,我们提出了一个加速培训框架,用于复制 - 交换Langevin扩散框架,利用DeepOnet的神经网络架构,以降低其计算成本高达25%,而不会影响所提出的框架的性能。最后,我们说明了在四个参数PDE问题上使用一系列实验来说明所提出的贝叶斯框架的有效性。
translated by 谷歌翻译
在本文中,我们提出了一种由量化压缩感测的通信高效的联合学习框架。呈现的框架包括用于参数服务器(PS)的无线设备和梯度重建的梯度压缩。我们对梯度压缩的策略是顺序执行块稀疏,尺寸减小和量化。由于梯度稀疏和量化,我们的策略可以实现比单位梯度压缩更高的压缩比。为了从PS的压缩信号中精确聚集局部梯度,我们使用期望最大化通用近似消息传递(EM-GAMP)算法来提出梯度重建的近似最小均方误差(MMSE)方法。假设Bernoulli高斯 - 混合的先前,该算法迭代地更新来自压缩信号的局部梯度的后均值和方差。我们还为梯度重建呈现出低复杂性的方法。在这种方法中,我们使用Bussgang定理来从压缩信号聚合本地梯度,然后使用EM-GAMP算法计算聚合梯度的近似MMSE估计。我们还提供了所提出的框架的收敛速度分析。使用Mnist DataSet,我们证明所呈现的框架几乎可以使用不执行压缩的情况实现几乎相同的性能,同时显着降低联合学习的通信开销。
translated by 谷歌翻译
稀疏变分高斯工艺(SVGP)方法是由于其计算效益的非共轭高斯工艺推论的常见选择。在本文中,我们通过使用双重参数化来提高其计算效率,其中每个数据示例被分配双参数,类似于期望传播中使用的站点参数。我们使用自然梯度下降的双重参数化速度推断,并提供了较小的证据,用于近似参数学习。该方法具有与当前SVGP方法相同的内存成本,但它更快,更准确。
translated by 谷歌翻译
我们探讨了在联邦学习(FL)中选择性地忘记了训练的CNN分类模型的类别的问题。鉴于用于培训的数据不能在FL全球范围内访问,我们的见解探测到每个通道的内部影响。通过由不同频道激活的特征图的可视化,我们观察到不同的信道对图像分类中的不同类别具有不同的贡献。灵感来自于此,我们提出了一种擦洗模型清除特定类别的信息的方法。该方法不需要从划痕中删除,也不需要全局访问用于培训的数据。相反,我们介绍了术语频率逆文档频率(TF-IDF)的概念来量化信道的类别辨别。具有高TF-IDF分数的频道对目标类别具有更多的歧视,因此需要修剪以unlorn。通道修剪之后是微调过程,以恢复修剪模型的性能。在CIFAR10数据集上进行评估,我们的方法加速了8.9倍为Reset Model的Insheryning的速度,并且对于从头开始的再循环而没有降级的VGG模型的7.9倍。对于CIFAR100数据集,Speedups分别为9.9x和8.4x。我们设想这项工作作为符合法律和道德标准的互补块。
translated by 谷歌翻译
不确定性量化(UQ)有助于基于收集的观察和不确定域知识来制定值得信赖的预测。随着各种应用中深度学习的增加,需要使深层模型更加可靠的高效UQ方法的需求。在可以从有效处理不确定性中受益的应用中,是基于深度学习的微分方程(DE)求解器。我们适应了几种最先进的UQ方法,以获得DE解决方案的预测性不确定性,并显示出四种不同类型的结果。
translated by 谷歌翻译
联合学习(FL)使多个设备能够在不共享其个人数据的情况下协作学习全局模型。在现实世界应用中,不同的各方可能具有异质数据分布和有限的通信带宽。在本文中,我们有兴趣提高FL系统的通信效率。我们根据梯度规范的重要性调查和设计设备选择策略。特别是,我们的方法包括在每个通信轮中选择具有最高梯度值的最高规范的设备。我们研究了这种选择技术的收敛性和性能,并将其与现有技术进行比较。我们用非IID设置执行几个实验。结果显示了我们的方法的收敛性,与随机选择比较的测试精度相当大。
translated by 谷歌翻译