图表学习通常是处理或代表结构化数据的必要步骤，当没有明确给出底层图。图表学习通常以完全了解图形信号的全部知识，即涉及图形节点上的数据。但是，有些设置可以容易地或仅具有不可忽略的通信成本来收集数据。在这种情况下，分布式处理看作是一种自然解决方案，其中数据保持主要是本地，并且在通信图上的邻居节点中执行所有处理。我们在此提出了一种新型分布图学习算法，其允许在数据在目标图上平滑的假设下从节点上的信号观察推断图。我们通过本地投影约束解决了分布式优化问题，以推断有效图，同时限制通信成本。我们的结果表明，分布式方法的通信成本低于集中式算法，而不会影响推断图中的精度。随着网络大小的增加，它还可以在通信成本方面更好地缩放，特别是对于稀疏网络。

分散和联合学习的关键挑战之一是设计算法，这些算法有效地处理跨代理商的高度异构数据分布。在本文中，我们在数据异质性下重新审视分散的随机梯度下降算法（D-SGD）的分析。我们在D-SGD的收敛速率上展示了新数量的关键作用，称为\ emph {邻居异质性}。通过结合通信拓扑结构和异质性，我们的分析阐明了这两个分散学习中这两个概念之间的相互作用较低。然后，我们认为邻里的异质性提供了一种自然标准，可以学习数据依赖性拓扑结构，以减少（甚至可以消除）数据异质性对D-SGD收敛时间的有害影响。对于与标签偏度分类的重要情况，我们制定了学习这样一个良好拓扑的问题，例如我们使用Frank-Wolfe算法解决的可拖动优化问题。如一组模拟和现实世界实验所示，我们的方法提供了一种设计稀疏拓扑的方法，可以在数据异质性下平衡D-SGD的收敛速度和D-SGD的触电沟通成本。

我们考虑了从节点观测值估算多个网络拓扑的问题，其中假定这些网络是从相同（未知）随机图模型中绘制的。我们采用图形作为我们的随机图模型，这是一个非参数模型，可以从中绘制出潜在不同大小的图形。图形子的多功能性使我们能够解决关节推理问题，即使对于要恢复的图形包含不同数量的节点并且缺乏整个图形的精确比对的情况。我们的解决方案是基于将最大似然惩罚与Graphon估计方案结合在一起，可用于增强现有网络推理方法。通过引入嘈杂图抽样信息的强大方法，进一步增强了所提出的联合网络和图形估计。我们通过将其性能与合成和实际数据集中的竞争方法进行比较来验证我们提出的方法。

图表比较涉及识别图之间的相似性和异化。主要障碍是图形的未知对准，以及缺乏准确和廉价的比较度量。在这项工作中，我们引入过滤器图距离。它是一种基于最佳的传输距离，其通过滤波图信号的概率分布驱动图表比较。这产生了高度灵活的距离，能够在观察到的图表中优先考虑不同的光谱信息，为比较度量提供广泛的选择。我们通过计算图表置换来解决图表对齐问题，该置换最小化了我们的新滤波器距离，这隐含地解决了曲线图比较问题。然后，我们提出了一种新的近似成本函数，这些函数避免了曲线图比较固有的许多计算困难，并且允许利用镜面梯度下降等快速算法，而不会严重牺牲性能。我们终于提出了一种衍生自镜面梯度下降的随机版本的新型算法，其适应对准问题的非凸性，在性能准确性和速度之间提供良好的折衷。图表对准和分类的实验表明，通过滤波图距离所获得的灵活性可以对性能产生显着影响，而近似成本提供的速度差异使得适用于实际设置的框架。

图形神经网络（GNN）是图形数据的有效的神经网络模型，广泛用于不同的领域，包括无线通信。与其他神经网络模型不同，GNN可以以分散的方式实现，其中邻居之间的信息交换，使其成为无线通信系统中分散控制的潜在强大的工具。然而，主要的瓶颈是无线频道损伤，其恶化了GNN的预测稳健性。为了克服这个障碍，我们在本文中分析和增强了不同无线通信系统中分散的GNN的鲁棒性。具体地，使用GNN二进制分类器作为示例，我们首先开发一种方法来验证预测是否稳健。然后，我们在未编码和编码的无线通信系统中分析分散的GNN二进制分类器的性能。为了解决不完美的无线传输并增强预测稳健性，我们进一步提出了用于上述两个通信系统的新型重传机制。通过仿真对合成图数据，我们验证了我们的分析，验证了提出的重传机制的有效性，并为实际实施提供了一些见解。

在本章中，我们将主要关注跨无线设备的协作培训。培训ML模型相当于解决优化问题，并且在过去几十年中已经开发了许多分布式优化算法。这些分布式ML算法提供数据局部性;也就是说，可以协同地培训联合模型，而每个参与设备的数据仍然是本地的数据。这个地址，一些延伸，隐私问题。它们还提供计算可扩展性，因为它们允许利用分布在许多边缘设备的计算资源。然而，在实践中，这不会直接导致整体学习速度的线性增益与设备的数量。这部分是由于通信瓶颈限制了整体计算速度。另外，无线设备在其计算能力中具有高度异构，并且它们的计算速度和通信速率都可能由于物理因素而高度变化。因此，考虑到时变通信网络的影响以及器件的异构和随机计算能力，必须仔细设计分布式学习算法，特别是在无线网络边缘实现的算法。

联合学习（FL）是一个蓬勃发展的分布式机器学习框架，其中中心参数服务器（PS）协调许多本地用户以训练全局一致的模型。传统的联合学习不可避免地依赖于具有PS的集中拓扑。因此，一旦PS失败，它将瘫痪。为了缓解如此单点故障，特别是在PS上，一些现有的工作已经提供了CDSGD和D-PSGD等分散的FL（DFL）实现，以便于分散拓扑中的流体。然而，这些方法仍存在一些问题，例如，在CDSGD中的用户最终模型和D-PSGD中的网络范围的模型平均必需品之间存在一些问题。为了解决这些缺陷，本文设计了一种作为DACFL的新DFL实现，其中每个用户使用自己的训练数据列举其模型，并通过对称和双随机矩阵将中间模型与其邻居交换。 DACFL将每个用户本地培训的进度视为离散时间过程，并采用第一个订单动态平均共识（FODAC）方法来跟踪\ Texit {平均模型}在没有PS的情况下。在本文中，我们还提供了DACFL的理论收敛性分析，即在I.I.D数据的前提下，以加强其合理性。 Mnist，Fashion-Mnist和CiFar-10的实验结果验证了我们在几间不变性和时变网络拓扑中的解决方案的可行性，并在大多数情况下声明DACFL优于D-PSGD和CDSGD。

我们考虑从有限的嘈杂图形信号观察中学习图表的问题，其目标是找到图形信号的平滑表示。这种问题是通过在大型数据集中推断的关系结构，并且近年来广泛研究了这种问题。大多数现有方法专注于学习观察信号平滑的图表。但是，学习的图表容易过度拟合，因为它不会考虑未观察到的信号。为了解决这个问题，我们提出了一种基于分布稳健优化方法的新型图形学习模型，该模型旨在识别不仅提供了对观察信号中的不确定性的平滑表示的图表。在统计方面，我们建立了我们提出的模型的样本绩效保障。在优化方面，我们表明，在曲线图信号分布的温和假设下，我们提出的模型承认了平滑的非凸优化配方。然后，我们开发了一个预测的渐变方法来解决这一制定并建立其收敛保证。我们的配方在图形学习环境中提供了一个新的正则化视角。此外，综合和实世界数据的广泛数值实验表明，根据各种度量的观察信号的不同群体的模型具有比较不同的群体的较强的性能。

通过联合学习培训的机器学习模型的收敛速度受到异构数据分区的显着影响，甚至在没有中央服务器的完全分散的设置中。在本文中，我们表明，通过仔细设计潜在的通信拓扑，可以显着降低标签分布偏斜的影响，这是一种重要的数据异质性。我们呈现D-Cliques，一种新颖的拓扑，其通过在稀疏互连的批分中分组节点来减少梯度偏压，使得Clique中的标签分布代表全局标签分布。我们还展示了如何调整分散的SGD的更新，以获得不偏的渐变，并利用D-Cliques实现有效的动量。我们对MNIST和CIFAR10的广泛实证评估表明，我们的方法提供了类似的收敛速度作为完全连接的拓扑，这提供了数据异构设置中的最佳收敛性，并且在边缘和消息的数量下显着降低。在1000节点拓扑中，D-Cliques需要98％的边缘和96％的总信息，在跨越群体中使用小世界拓扑的进一步获得。

随着从现实世界所收集的图形数据仅仅是无噪声，图形的实际表示应该是强大的噪声。现有的研究通常侧重于特征平滑，但留下几何结构不受影响。此外，大多数工作需要L2-Norm，追求全局平滑度，这限制了图形神经网络的表现。本文根据特征和结构噪声裁定图表数据的常规程序，其中目标函数用乘法器（ADMM）的交替方向方法有效地解决。该方案允许采用多个层，而无需过平滑的关注，并且保证对最佳解决方案的收敛性。实证研究证明，即使在重大污染的情况下，我们的模型也与流行的图表卷积相比具有明显更好的性能。

来自节点观测集的学习图表代表了一个正式称为图形拓扑推断的突出问题。然而，当前方法通过通常关注推断的单个网络而受到限制，并且他们假设来自所有节点的观察。首先，许多当代设置涉及多个相关网络，而第二个，其次，通常只是观察到剩余剩余隐藏的节点子集的情况。通过这些事实的动机，我们介绍了一种联合图拓扑推理方法，用于模拟隐藏变量的影响。在所观察到的信号在寻求的图表和图表密切相关的假设下，多个网络的联合估计允许我们利用这种关系来提高学习图的质量。此外，我们面临建模隐藏节点影响以最大限度地减少其不利影响的挑战性问题。为了获得可编程方法，我们利用手头的设置的特定结构，并利用不同图之间的相似性，这影响了观察到的和隐藏节点。为了测试所提出的方法，提供了综合和实际图的数值模拟。

在这项工作中，我们的目标是将非结构化的点对点网络的节点与通信不确定性进行分类，例如分散的社交网络的用户。已知图形神经网络（GNNS）通过利用自然发生的网络链路来提高集中设置中更简单的分类器的准确性，但是当节点邻居不断可用时，图形卷积层在分散的设置中实现了在分散的设置中实现了具有挑战性的。我们通过采用分离的GNN来解决这个问题，其中基本分类器预测和错误通过训练之后通过图来扩散。为此，我们部署了预先训练和八卦培训的基本分类器，并在通信不确定性下实现对等图形扩散。特别地，我们开发了一种异步分散的扩散制剂，其在相对于通信速率线性地收敛于相同的预测。我们在具有节点特征和标签的三个实际图表上尝试，并使用均匀随机通信频率模拟点对点网络;给定一部分已知的标签，我们的分散的图形扩散实现了集中GNN的可比精度。

比较图形等结构的对象是许多学习任务中涉及的基本操作。为此，基于最优传输（OT）的Gromov-Wasserstein（GW）距离已被证明可以成功处理相关对象的特定性质。更具体地说，通过节点连接关系，GW在图表上运行，视为特定空间上的概率测量。在OT的核心处是质量守恒的想法，这在两个被认为的图表中的所有节点之间施加了耦合。我们在本文中争辩说，这种财产可能对图形字典或分区学习等任务有害，我们通过提出新的半轻松的Gromov-Wasserstein发散来放松它。除了立即计算福利之外，我们讨论其属性，并表明它可以导致有效的图表字典学习算法。我们经验展示其对图形上的复杂任务的相关性，例如分区，聚类和完成。

Emerging technologies and applications including Internet of Things (IoT), social networking, and crowd-sourcing generate large amounts of data at the network edge. Machine learning models are often built from the collected data, to enable the detection, classification, and prediction of future events. Due to bandwidth, storage, and privacy concerns, it is often impractical to send all the data to a centralized location. In this paper, we consider the problem of learning model parameters from data distributed across multiple edge nodes, without sending raw data to a centralized place. Our focus is on a generic class of machine learning models that are trained using gradientdescent based approaches. We analyze the convergence bound of distributed gradient descent from a theoretical point of view, based on which we propose a control algorithm that determines the best trade-off between local update and global parameter aggregation to minimize the loss function under a given resource budget. The performance of the proposed algorithm is evaluated via extensive experiments with real datasets, both on a networked prototype system and in a larger-scale simulated environment. The experimentation results show that our proposed approach performs near to the optimum with various machine learning models and different data distributions.

分散算法是一种计算形式，通过依赖于直接连接代理之间的低成本通信的本地动态实现全局目标。在涉及分布式数据集的大规模优化任务中，分散算法显示出强大，有时优越，性能与中央节点的分布式算法。最近，发展分散的深度学习算法引起了极大的关注。它们被视为使用参数服务器或环形恢复协议的那些的低通信开销替代方案。但是，缺乏易于使用和高效的软件包仅在纸上保持了最分散的算法。为了填补差距，我们介绍了Bluefog，一个Python库进行了直接的，高性能的不同分散算法的实现。基于各种通信操作的统一抽象，Bluefog提供直观的接口来实现分散的算法的频谱，从使用静态无向图的那些，用于使用动态和定向图形的同步操作进行异步操作。 Bluefog还采用了多种系统级加速技术，以进一步优化深度学习任务的性能。在主流DNN培训任务中，Bluefog达到了更高的吞吐量，并实现了一个总体上的吞吐量1.2 \ times \ sim 1.8 \ times $ speedup，这是一个基于环 - allyuce的最先进的分布式深度学习包。 Bluefog是https://github.com/bluefog-lib/bluefog的开源。

在分散的学习中，节点网络协作以最小化通常是其本地目标的有限总和的整体目标函数，并结合了非平滑的正则化术语，以获得更好的泛化能力。分散的随机近端梯度（DSPG）方法通常用于培训这种类型的学习模型，而随机梯度的方差延迟了收敛速率。在本文中，我们提出了一种新颖的算法，即DPSVRG，通过利用方差减少技术来加速分散的训练。基本思想是在每个节点中引入估计器，该节点周期性地跟踪本地完整梯度，以校正每次迭代的随机梯度。通过将分散的算法转换为具有差异减少的集中内隙近端梯度算法，并控制错误序列的界限，我们证明了DPSVRG以o（1 / t）$的速率收敛于一般凸起目标加上非平滑术语以$ t $作为迭代的数量，而dspg以$ o（\ frac {1} {\ sqrt {t}}）$汇聚。我们对不同应用，网络拓扑和学习模型的实验表明，DPSVRG会收敛于DSPG的速度要快得多，DPSVRG的损耗功能与训练时期顺利降低。

由于处理非covex公式的能力，深入研究深度学习（DL）技术以优化多用户多输入单输出（MU-MISO）下行链接系统。但是，现有的深神经网络（DNN）的固定计算结构在系统大小（即天线或用户的数量）方面缺乏灵活性。本文开发了一个双方图神经网络（BGNN）框架，这是一种可扩展的DL溶液，旨在多端纳纳波束形成优化。首先，MU-MISO系统以两分图为特征，其中两个不相交的顶点集（由传输天线和用户组成）通过成对边缘连接。这些顶点互连状态是通过通道褪色系数建模的。因此，将通用的光束优化过程解释为重量双分图上的计算任务。这种方法将波束成型的优化过程分为多个用于单个天线顶点和用户顶点的子操作。分离的顶点操作导致可扩展的光束成型计算，这些计算不变到系统大小。顶点操作是由一组DNN模块实现的，这些DNN模块共同构成了BGNN体系结构。在所有天线和用户中都重复使用相同的DNN，以使所得的学习结构变得灵活地适合网络大小。 BGNN的组件DNN在许多具有随机变化的网络尺寸的MU-MISO配置上进行了训练。结果，训练有素的BGNN可以普遍应用于任意的MU-MISO系统。数值结果验证了BGNN框架比常规方法的优势。

分布式学习已成为缩放机器学习并解决数据隐私需求不断增长的积分工具。虽然对网络拓扑的更强大，但分散的学习计划没有获得与其集中式同行相同的人气水平，因为它们具有较低的竞争性能。在这项工作中，我们将此问题归因于分散的学习工人之间缺乏同步，在经验和理论上表现出来，收敛速度与工人之间的同步水平相关联。我们认为，基于非线性漫步（非政府组织）的新型分散式学习框架，享有有吸引力的有限时间共识性，以实现更好的同步。我们对其收敛性提供了仔细分析，并讨论了现代分布式优化应用的优点，如深神经网络。我们对通信延迟和随机聊天如何影响学习的分析进一步实现了适应异步和随机通信的实际变体的推导。为了验证我们提案的有效性，我们通过广泛的测试，我们通过广泛的测试来利用竞争解决方案，令人鼓舞的结果报告。

我们考虑学习底层多变量数据的稀疏无向图的问题。我们专注于稀疏精度矩阵上的图表拉普拉斯相关的约束，它在与图形节点相关联的随机变量之间编码条件依赖性。在这些约束下，精度矩阵的偏差元素是非正（总阳性），并且精度矩阵可能不是全级。我们调查了对广泛使用惩罚的日志似然方法来强制执行总积极性但不是拉普拉斯结构的修改。然后可以从非对角线精密矩阵中提取图拉普拉斯。乘法器（ADMM）算法的交替方向方法被提出和分析了Laplacian相关约束和套索的约束优化以及自适应套索处罚。基于合成数据的数值结果表明，所提出的约束的自适应套索方法显着优于现有的基于拉普拉斯的方法。我们还评估了我们对实际财务数据的方法。

本文通过匹配的追求方法开发了一类低复杂设备调度算法，以实现空中联合学习。提出的方案紧密跟踪了通过差异编程实现的接近最佳性能，并且基于凸松弛的众所周知的基准算法极大地超越了众所周知的基准算法。与最先进的方案相比，所提出的方案在系统上构成了较低的计算负载：对于$ k $设备和参数服务器上的$ n $ antennas，基准的复杂性用$ \ left缩放（n^）2 + k \ right）^3 + n^6 $，而提出的方案量表的复杂性则以$ 0 <p，q \ leq 2 $为$ k^p n^q $。通过CIFAR-10数据集上的数值实验证实了所提出的方案的效率。