这封信研究在包含中央服务器和多个工人的环境中分布了贝叶斯学习，专注于减轻摔跤手的影响问题。通过提出基于分组和编码的两种级体弹性解决方案，标准单次单次或令人尴尬地平行，称为共识Monte Carlo（CMC）是推广的。所提出的方法称为基于组的CMC（G-CMC）和编码的CMC（C-CMC），利用工人冗余计算，以便根据来自的部分输出来估算服务器上的全局后部样本工人。仿真结果表明，C-CMC可能占G-GCMC的少量工人，而G-CMC通常优选用于更大数量的工人。

壁钟收敛时间和通信负载是参数服务器设置中随机梯度下降（SGD）的分布式实现的关键性能度量。通信 - 自适应分布式ADAM（CADA）已被提议通过自适应选择减少沟通负荷的方式。 CADA在存在陷阱器的壁时钟收敛时间方面进行性能退化。本文提出了一种名为基于分组的CADA（G-CADA）的小说方案，该方案保留了CADA的优势在减少通信负荷时，同时提高了工人额外储存成本的稳健性。 G-CADA将工人分配到分配相同数据分片的工人组。组在每次迭代时自适应地安排组，并且服务器仅等待每个所选组中最快的工作者。我们提供分析和实验结果，以便在其他基准方案中详细说明G-CADA的壁钟时间和通信负载和计算负荷的显着增益。

We consider distributed learning in the presence of slow and unresponsive worker nodes, referred to as stragglers. In order to mitigate the effect of stragglers, gradient coding redundantly assigns partial computations to the worker such that the overall result can be recovered from only the non-straggling workers. Gradient codes are designed to tolerate a fixed number of stragglers. Since the number of stragglers in practice is random and unknown a priori, tolerating a fixed number of stragglers can yield a sub-optimal computation load and can result in higher latency. We propose a gradient coding scheme that can tolerate a flexible number of stragglers by carefully concatenating gradient codes for different straggler tolerance. By proper task scheduling and small additional signaling, our scheme adapts the computation load of the workers to the actual number of stragglers. We analyze the latency of our proposed scheme and show that it has a significantly lower latency than gradient codes.

编码的计算技术为分布式计算中的贸易管理者提供鲁棒性。但是，大多数现有计划都需要精确地配置争吵行为，并忽略通过谋杀工人执行的计算。此外，这些方案通常被设计为准确地恢复所需的计算结果，而在许多机器学习和迭代优化算法中，已知更快的近似解决方案导致整体收敛时间的改善。在本文中，我们首先引入一种新的编码矩阵 - 向量乘法方案，称为组成的编码计算，其中部分恢复（CCPR），这有利于编码和未编码的计算方案的优点，并减少了计算时间和解码复杂度允许在准确性和计算速度之间进行权衡。然后，我们通过提出具有部分恢复的编码通信方案来扩展这种方法来分发更多一般计算任务，其中在传送之前编码由工人计算的子任务的结果。大型线性回归任务的数值模拟确认了所提出的分布式计算方案的优势，在计算准确性和延迟之间的权衡方面具有部分恢复。

大量的现代机器学习任务要求将大规模分布式簇作为训练管道的关键组成部分。但是，工人节点的异常拜占庭行为可能会使训练脱轨并损害推理的质量。这种行为可以归因于无意的系统故障或精心策划的攻击；结果，一些节点可能会将任意结果返回到协调培训的参数服务器（PS）。最近的工作考虑了广泛的攻击模型，并探索了强大的聚合和/或计算冗余以纠正扭曲的梯度。在这项工作中，我们考虑攻击模型从强大的攻击模型：$ q $无所不知的对手，对防御协议充分了解可以从迭代变为迭代变为弱者：$ q $随机选择的对手有限，勾结能力只会改变每一个，一次迭代很少。我们的算法依赖于冗余任务分配以及对抗行为的检测。对于强烈的攻击，我们证明，与先前的最新时间相比，扭曲梯度的比例从16 \％-99 \％降低。与最先进的攻击相比，我们在CIFAR-10数据集上的TOP-1分类准确性结果表明，在最复杂的攻击下，准确性（平均和弱方案平均）的优势（平均相对于强度和弱方案平均）。

我们提出了两种新颖的编码联合学习（FL）方案，用于减轻乐曲设备的效果。第一种方案，CodedPaddedFL，减轻了乐谱装置的效果，同时保留了传统的隐私水平。特别地，它将一次性填充与梯度码相结合，以产生对讨论设备的弹性。要将一次性填充应用于真实数据，我们的计划利用数据的定点算术表示。对于具有25个设备的场景，CodedPaddedFL与传统FL相比，CodedPaddedFL分别在MM师和时尚-MNIST数据集中获得6.6和9.2的速度增速因子为6.6和9.2。此外，与Prakash \ Emph {等人}最近提出的方案相比，它在延迟方面产生了类似的性能。没有额外的私人数据泄漏的缺点。第二个方案CodedSecagg提供落后和防止模型反转攻击的稳健性，并基于Shamir的秘密共享。 CodedSecagg优先于最先进的安全聚合方案，如6.6-14.6的加速因子，这取决于拼写设备的数量，在具有120个设备的场景的MNIST数据集上，以牺牲与CodedPaddedFL相比，延迟增加了30 \％。

We study the resilience to Byzantine failures of distributed implementations of Stochastic Gradient Descent (SGD). So far, distributed machine learning frameworks have largely ignored the possibility of failures, especially arbitrary (i.e., Byzantine) ones. Causes of failures include software bugs, network asynchrony, biases in local datasets, as well as attackers trying to compromise the entire system. Assuming a set of n workers, up to f being Byzantine, we ask how resilient can SGD be, without limiting the dimension, nor the size of the parameter space. We first show that no gradient aggregation rule based on a linear combination of the vectors proposed by the workers (i.e, current approaches) tolerates a single Byzantine failure. We then formulate a resilience property of the aggregation rule capturing the basic requirements to guarantee convergence despite f Byzantine workers. We propose Krum, an aggregation rule that satisfies our resilience property, which we argue is the first provably Byzantine-resilient algorithm for distributed SGD. We also report on experimental evaluations of Krum.

使用分布式学习培训具有大数据集的复杂模型的主要挑战之一是处理陷阱效果。作为解决方案，最近提出了对计算任务有效地增加了冗余的编码计算。在该技术中，跨数据集使用编码，并且计算在编码数据上完成，使得具有特定大小的工作节点的任意子集的结果足以恢复最终结果。这些方法的主要挑战是（1）它们仅限于多项式函数计算，（2）服务器子集的大小，我们需要等待数据集大小的乘法和模型复杂性的乘法（多项式的程度），其可能过大，（3）它们对实际数字的计算不是数值稳定的。在本文中，我们将Berrut近似编码计算（BACC）提出，作为替代方法，其不限于多项式函数计算。此外，主节点可以使用可用工作人员节点的任何任意子集的结果大致计算最终结果。近似方法被证明具有低计算复杂性的数值稳定。另外，理论上建立近似的准确性并通过仿真验证导致不同的设置，例如分布式学习问题。特别地，BACC用于在一组服务器上训练深度神经网络，这在收敛速率方面优于重复计算（重复编码）。

最先进的机器学习模型在大规模分布式集群上常规培训。粗略地，当一些计算设备表现出异常（拜占庭）行为并将任意结果返回到参数服务器（PS）时，这种系统可能会受到损害。此行为可能归因于多种原因，包括系统故障和策划攻击。现有工作表明强大的聚合和/或计算冗余，以减轻扭曲渐变的效果。然而，当对手知道任务任务时，大多数这些方案都无效，并且可以明智地选择攻击的工人来诱导最大损害。我们所提出的方法ASPIS使用基于子集的分配为工作节点分配梯度计算，该分配允许对工作节点的行为进行多个一致性检查。通过中央节点检查计算出的梯度和后处理（在适当构造的图中的Clique-Conceping）允许有效的检测和随后从训练过程中排除对手。在弱势和强劲的攻击下，我们证明了拜占庭的复原力和检测保证，并广泛评估了各种大规模培训场景的系统。我们的实验的主要指标是测试准确性，与CIFAR-10数据集上的许多最先进的方法相比，我们表现出约30％的显着提高。相应减少损坏梯度的分数范围为16％至99％。

联合学习可以使远程工作人员能够协作培训共享机器学习模型，同时允许在本地保持训练数据。在无线移动设备的用例中，由于功率和带宽有限，通信开销是关键瓶颈。前工作已经利用了各种数据压缩工具，例如量化和稀疏，以减少开销。在本文中，我们提出了一种用于联合学习的预测编码的压缩方案。该方案在所有设备中具有共享预测功能，并且允许每个工作人员发送来自参考的压缩残余矢量。在每个通信中，我们基于速率失真成本选择预测器和量化器，并进一步降低熵编码的冗余。广泛的模拟表明，与其他基线方法相比，甚至更好的学习性能，通信成本可以减少高达99％。

Two of the main principles underlying the life cycle of an artificial intelligence (AI) module in communication networks are adaptation and monitoring. Adaptation refers to the need to adjust the operation of an AI module depending on the current conditions; while monitoring requires measures of the reliability of an AI module's decisions. Classical frequentist learning methods for the design of AI modules fall short on both counts of adaptation and monitoring, catering to one-off training and providing overconfident decisions. This paper proposes a solution to address both challenges by integrating meta-learning with Bayesian learning. As a specific use case, the problems of demodulation and equalization over a fading channel based on the availability of few pilots are studied. Meta-learning processes pilot information from multiple frames in order to extract useful shared properties of effective demodulators across frames. The resulting trained demodulators are demonstrated, via experiments, to offer better calibrated soft decisions, at the computational cost of running an ensemble of networks at run time. The capacity to quantify uncertainty in the model parameter space is further leveraged by extending Bayesian meta-learning to an active setting. In it, the designer can select in a sequential fashion channel conditions under which to generate data for meta-learning from a channel simulator. Bayesian active meta-learning is seen in experiments to significantly reduce the number of frames required to obtain efficient adaptation procedure for new frames.

在本文中，我们研究了启用高速雾无线电访问网络（F-RAN）中的内容受欢迎程度预测问题。为了以高准确性和低复杂性预测内容的流行，我们提出了基于高斯流程的回归器，以模拟内容请求模式。首先，我们提出的模型捕获了内容特征和受欢迎程度之间的关系。然后，我们利用贝叶斯学习来训练模型参数，这对于过度拟合非常可靠。但是，贝叶斯方法通常无法找到后验分布的闭合形式表达。为了解决此问题，我们采用随机方差降低梯度哈密顿蒙特卡洛（SVRG-HMC）方法来近似后验分布。为了利用其他FOG接入点（F-AP）的计算资源并减少开销的通信，我们提出了一个量化的联合学习（FL）框架与贝叶斯学习相结合。量化的联合贝叶斯学习框架允许每个F-AP在量化和编码后将梯度发送到云服务器。它可以有效地实现预测准确性和通信间接费用之间的权衡。仿真结果表明，我们提出的政策的绩效优于现有政策。

分布式学习的主要重点之一是沟通效率，因为每一轮训练的模型聚集可能包括数百万到数十亿个参数。已经提出了几种模型压缩方法，例如梯度量化和稀疏方法，以提高模型聚合的通信效率。但是，对于给定梯度估计器的给定扭曲的信息理论的最低通信成本仍然未知。在本文中，我们研究了从率延伸的角度研究分布式学习中模型聚集的基本限制。通过将模型聚合作为矢量高斯首席执行官问题，我们得出了模型聚合问题的速率区域和总成绩 - 距离函数，这揭示了在特定梯度失真上限处的最小通信速率。我们还根据现实世界数据集的梯度统计数据，分析了每次迭代和总通信成本的通信成本和总通信成本。发现通过利用工人节点之间的相关性来获得沟通增益，对于符号来说是显着的，并且梯度估计器的高扭曲可以实现梯度压缩中的较低总通信成本。

用于联合学习（FL）的最佳算法设计仍然是一个打开的问题。本文探讨了实用边缘计算系统中FL的全部潜力，其中工人可能具有不同的计算和通信功能，并且在服务器和工人之间发送量化的中间模型更新。首先，我们介绍了FL，即GenQSGD的一般量化并行迷你批量随机梯度下降（SGD）算法，即GenQSGD，其由全球迭代的数量参数化，所有工人的本地迭代的数量以及迷你批量大小。我们还分析了其算法参数的任何选择的收敛误差。然后，我们优化算法参数，以最小化时间约束和收敛误差约束下的能量成本。优化问题是具有非可分辨率约束函数的具有挑战性的非凸面问题。我们提出了一种迭代算法，可以使用高级优化技术获得KKT点。数值结果证明了现有的GenQSGD的显着增益，并揭示了最佳设计的重要性FL算法。

编码的分布式计算已成为在大型数据集上执行梯度下降以减轻散乱者和其他故障的常见实践。本文提出了一种新的算法，该算法编码了部分导数本身，并通过对代码字上的衍生代码字进行有损压缩来优化代码，从而最大程度地提高代码字中包含的信息，同时最大程度地减少代码字之间的信息。在优化研究中观察到的事实是，在基于梯度下降的学习算法中，这是在优化研究中观察到的事实的几何后果，因为它有助于避免过度拟合和局部最小值。这与当前在分布式编码计算上进行的许多常规工作相反，该计算的重点是从工人那里恢复所有数据。第二个贡献是，编码方案的低重量性质允许进行异步梯度更新，因为该代码可以迭代地解码。即，可以立即将工人的任务更新到较大的梯度中。方向衍生物始终是方向向量的线性函数。因此，我们的框架很健壮，因为它可以将线性编码技术应用于一般的机器学习框架，例如深神经网络。

我们提出了一种使用边缘似然的分布式贝叶斯模型选择的一般方法，其中数据集被分开在非重叠子集中。这些子集仅由个别工人本地访问，工人之间没有共享数据。我们近似通过在每个子集的每个子集上从后部采样通过Monte Carlo采样的完整数据的模型证据。结果使用一种新的方法来组合，该方法校正使用所产生的样本的汇总统计分裂。我们的鸿沟和征服方法使贝叶斯模型在大型数据设置中选择，利用所有可用信息，而是限制工人之间的沟通。我们派生了理论误差界限，这些错误界限量化了计算增益与精度损失之间的结果。当我们的真实世界实验所示，令人尴尬的平行性质在大规模数据集时产生了重要的速度。此外，我们展示了如何在可逆跳转设置中扩展建议的方法以在可逆跳转设置中进行模型选择，该跳转设置在一个运行中探讨多个特征组合。

贝叶斯全球优化（BGO）是一种有效的替代辅助技术，用于涉及昂贵评估的问题。可以使用并行技术在一次迭代中评估真实昂贵的目标功能以增加执行时间。一种有效而直接的方法是设计一种采集函数，可以在一次迭代中评估多个解决方案浴的性能，而不是单点/解决方案。本文提出了\ emph {改进的概率}（poi）的五个替代方案，其中有多个点（q-poi）用于多目标贝叶斯全局优化（MOBGO），从而考虑了多个点之间的协方差。提供了所有提出的Q-POIS的精确计算公式和蒙特卡洛近似算法。基于与帕累托 - 前相关的多个点的分布，研究了五个Q-POI的位置依赖性行为。此外，将五个Q-Pois与其他二十个生物目标基准上的其他九个最先进的杂物算法进行了比较。进行了各种基准的经验实验，以证明两个贪婪的Q-Pois（$ \ kpoi _ {\ mbox {\ mbox {best}} $和$ \ kpoi _ {\ kpoi _ {\ mbox {all}} $）在低维问题上以及两个探索性Q-Pois（$ \ kpoi _ {\ mbox {one}} $和$ \ kpoi _ {\ mbox {worst}} $）在难以实现的高维问题上具有难以适应的帕雷托前界。

垂直分布式学习利用了多个学习工人收集的本地特征，以形成更好的全球模型。但是，工人与模型聚合器之间的数据交换进行参数培训会导致沉重的沟通负担，尤其是当学习系统建立在容量受限的无线网络上时。在本文中，我们提出了一个新型的层次分布式学习框架，每个工人分别学习了其本地观察到的数据的低维嵌入。然后，他们执行沟通有效的分布式最大 - 以有效地将合成的输入传输到聚合器。对于通过共享无线通道进行的数据交换，我们提出了一个基于机会性载体传感的协议，以实现所有学习工人的输出数据的最大功能操作。我们的仿真实验表明，提出的学习框架能够使用学习工人的所有原始输出的串联来实现与学习模型几乎相同的模型精度，同时需要独立于工人数量的沟通负载。

我们考虑分布式SGD问题，其中主节点在$ n $工人之间分配梯度计算。通过将任务分配给所有工人，只等待$ k $最快的工人，主节点可以随着算法的发展而逐渐增加$ k $，可以权衡算法的错误。但是，这种策略被称为自适应$ k $ -sync，忽略了未使用的计算的成本和向揭示出散布行为的工人进行交流模型的成本。我们提出了一个成本效益的计划，将任务仅分配给$ k $工人，并逐渐增加$ k $。我们介绍了组合多臂匪徒模型的使用来了解哪些工人在分配梯度计算时最快。假设具有指数分布的响应时间以不同方式参数的工人，我们会以我们的策略的遗憾（即学习工人的平均响应时间花费的额外时间）提供经验和理论保证。此外，我们提出和分析适用于大量响应时间分布的策略。与自适应$ k $ -sync相比，我们的计划通过相同的计算工作和较小的下行链路通信在速度较低的情况下，误差大大降低。

变分量子本层（VQE）是一种领先的策略，可利用嘈杂的中间量子量子（NISQ）机器来解决化学问题的表现优于经典方法。为了获得大规模问题的计算优势，可行的解决方案是量子分布式优化（QUDIO）方案，该方案将原始问题分配到$ K $子问题中，并将其分配给$ K $量子机器，然后将其分配给并行优化。尽管有可证明的加速度比率，但Qudio的效率可能会因同步操作而大大降低。为了征服这个问题，我们在这里提议在量子分布式优化期间，将洗牌措施涉及到当地的汉密尔顿人。与Qudio相比，Shuffle-Qudio显着降低了量子处理器之间的通信频率，并同时达到了更好的训练性。特别是，我们证明，Shuffle-Qudio可以比Qudio更快地收敛速率。进行了广泛的数值实验，以验证估计分子的基态能量的任务中，隔离式时间速度允许壁式时间速度和低近似误差。我们从经验上证明，我们的建议可以与其他加速技术（例如操作员分组）无缝集成，以进一步提高VQE的疗效。