在这项工作中，我们的目标是将非结构化的点对点网络的节点与通信不确定性进行分类，例如分散的社交网络的用户。已知图形神经网络（GNNS）通过利用自然发生的网络链路来提高集中设置中更简单的分类器的准确性，但是当节点邻居不断可用时，图形卷积层在分散的设置中实现了在分散的设置中实现了具有挑战性的。我们通过采用分离的GNN来解决这个问题，其中基本分类器预测和错误通过训练之后通过图来扩散。为此，我们部署了预先训练和八卦培训的基本分类器，并在通信不确定性下实现对等图形扩散。特别地，我们开发了一种异步分散的扩散制剂，其在相对于通信速率线性地收敛于相同的预测。我们在具有节点特征和标签的三个实际图表上尝试，并使用均匀随机通信频率模拟点对点网络;给定一部分已知的标签，我们的分散的图形扩散实现了集中GNN的可比精度。

分散算法是一种计算形式，通过依赖于直接连接代理之间的低成本通信的本地动态实现全局目标。在涉及分布式数据集的大规模优化任务中，分散算法显示出强大，有时优越，性能与中央节点的分布式算法。最近，发展分散的深度学习算法引起了极大的关注。它们被视为使用参数服务器或环形恢复协议的那些的低通信开销替代方案。但是，缺乏易于使用和高效的软件包仅在纸上保持了最分散的算法。为了填补差距，我们介绍了Bluefog，一个Python库进行了直接的，高性能的不同分散算法的实现。基于各种通信操作的统一抽象，Bluefog提供直观的接口来实现分散的算法的频谱，从使用静态无向图的那些，用于使用动态和定向图形的同步操作进行异步操作。 Bluefog还采用了多种系统级加速技术，以进一步优化深度学习任务的性能。在主流DNN培训任务中，Bluefog达到了更高的吞吐量，并实现了一个总体上的吞吐量1.2 \ times \ sim 1.8 \ times $ speedup，这是一个基于环 - allyuce的最先进的分布式深度学习包。 Bluefog是https://github.com/bluefog-lib/bluefog的开源。

推荐系统被证明是提取与用户相关的内容帮助用户进行日常活动的宝贵工具（例如，找到相关的访问地点，要消费的内容，要购买的商品）。但是，为了有效，这些系统需要收集和分析大量个人数据（例如，位置检查，电影评分，点击率等），这使用户面临许多隐私威胁。在这种情况下，基于联合学习（FL）的推荐系统似乎是一个有前途的解决方案，可以在计算准确的建议的同时将个人数据保存在用户设备上时，是一个有前途的解决方案。但是，FL，因此基于FL的推荐系统，依靠中央服务器，除了容易受到攻击外，还可以遇到可伸缩性问题。为了解决这个问题，我们提出了基于八卦学习原理的分散推荐系统Pepper。在胡椒中，用户八卦模型更新并不同步。 Pepper的核心位于两个关键组成部分：一个个性化的同行采样协议，该协议保存在每个节点附近，这是与前者具有相似兴趣的节点的一部分，以及一个简单而有效的模型汇总功能，该功能构建了一个模型更适合每个用户。通过在三个实施两个用例的实验实验中进行实验：位置入住建议和电影推荐，我们证明我们的解决方案比其他分散的解决方案快42％收敛于42％与分散的竞争对手相比，长时间性能的命中率和高达21％的速度提高了21％。

由于其独特的现实世界对象及其互动，图表已广泛用于数据挖掘和机器学习。如图所说，如图所说，通常会看到它们的子图分别收集并存储在多个本地系统中。因此，考虑子图联合学习设置是自然的，其中每个本地系统保持一个可以从整个图的分布偏置的小子图。因此，子图联合的学习旨在协同培训强大且更广泛的图形挖掘模型，而无需直接共享其图形数据。在这项工作中，朝着小型但是逼真的子图联合学习设置，我们提出了两种主要技术：（1）联邦品，其基于FedAVG的基于FaItaVG列出的GraphSage模型，以在多个本地子图上集成节点特征，链接结构和任务标签; （2）FEDSAGE +，它沿edsage举办丢失的邻居生成器，以处理跨本地子图的缺失链接。具有合成子图联合学习设置的四个真实图形数据集的经验结果证明了我们所提出的技术的有效性和效率。同时，一致的理论意义是以全局图对的泛化能力。

Graph Neural Networks (GNNs) have been predominant for graph learning tasks; however, recent studies showed that a well-known graph algorithm, Label Propagation (LP), combined with a shallow neural network can achieve comparable performance to GNNs in semi-supervised node classification on graphs with high homophily. In this paper, we show that this approach falls short on graphs with low homophily, where nodes often connect to the nodes of the opposite classes. To overcome this, we carefully design a combination of a base predictor with LP algorithm that enjoys a closed-form solution as well as convergence guarantees. Our algorithm first learns the class compatibility matrix and then aggregates label predictions using LP algorithm weighted by class compatibilities. On a wide variety of benchmarks, we show that our approach achieves the leading performance on graphs with various levels of homophily. Meanwhile, it has orders of magnitude fewer parameters and requires less execution time. Empirical evaluations demonstrate that simple adaptations of LP can be competitive in semi-supervised node classification in both homophily and heterophily regimes.

深度学习技术的普及更新了能够处理可以使用图形的复杂结构的神经结构的兴趣，由图形神经网络（GNN）的启发。我们将注意力集中在最初提出的Scarselli等人的GNN模型上。 2009，通过迭代扩散过程编码图表的节点的状态，即在学习阶段，必须在每个时期计算，直到达到学习状态转换功能的固定点，传播信息邻近节点。基于拉格朗日框架的约束优化，我们提出了一种在GNNS中学习的新方法。学习转换功能和节点状态是联合过程的结果，其中通过约束满足机制隐含地表达了状态会聚过程，避免了迭代巨头程序和网络展开。我们的计算结构在由权重组成的伴随空间中搜索拉格朗日的马鞍点，节点状态变量和拉格朗日乘法器。通过加速扩散过程的多个约束层进一步增强了该过程。实验分析表明，该方法在几个基准上的流行模型有利地比较。

图形神经网络（GNN）是图形数据的有效的神经网络模型，广泛用于不同的领域，包括无线通信。与其他神经网络模型不同，GNN可以以分散的方式实现，其中邻居之间的信息交换，使其成为无线通信系统中分散控制的潜在强大的工具。然而，主要的瓶颈是无线频道损伤，其恶化了GNN的预测稳健性。为了克服这个障碍，我们在本文中分析和增强了不同无线通信系统中分散的GNN的鲁棒性。具体地，使用GNN二进制分类器作为示例，我们首先开发一种方法来验证预测是否稳健。然后，我们在未编码和编码的无线通信系统中分析分散的GNN二进制分类器的性能。为了解决不完美的无线传输并增强预测稳健性，我们进一步提出了用于上述两个通信系统的新型重传机制。通过仿真对合成图数据，我们验证了我们的分析，验证了提出的重传机制的有效性，并为实际实施提供了一些见解。

Federated Learning (FL) has become a key choice for distributed machine learning. Initially focused on centralized aggregation, recent works in FL have emphasized greater decentralization to adapt to the highly heterogeneous network edge. Among these, Hierarchical, Device-to-Device and Gossip Federated Learning (HFL, D2DFL \& GFL respectively) can be considered as foundational FL algorithms employing fundamental aggregation strategies. A number of FL algorithms were subsequently proposed employing multiple fundamental aggregation schemes jointly. Existing research, however, subjects the FL algorithms to varied conditions and gauges the performance of these algorithms mainly against Federated Averaging (FedAvg) only. This work consolidates the FL landscape and offers an objective analysis of the major FL algorithms through a comprehensive cross-evaluation for a wide range of operating conditions. In addition to the three foundational FL algorithms, this work also analyzes six derived algorithms. To enable a uniform assessment, a multi-FL framework named FLAGS: Federated Learning AlGorithms Simulation has been developed for rapid configuration of multiple FL algorithms. Our experiments indicate that fully decentralized FL algorithms achieve comparable accuracy under multiple operating conditions, including asynchronous aggregation and the presence of stragglers. Furthermore, decentralized FL can also operate in noisy environments and with a comparably higher local update rate. However, the impact of extremely skewed data distributions on decentralized FL is much more adverse than on centralized variants. The results indicate that it may not be necessary to restrict the devices to a single FL algorithm; rather, multi-FL nodes may operate with greater efficiency.

图表学习目的旨在将节点内容与图形结构集成以学习节点/图表示。然而，发现许多现有的图形学习方法在具有高异性级别的数据上不能很好地工作，这是不同类标签之间很大比例的边缘。解决这个问题的最新努力集中在改善消息传递机制上。但是，尚不清楚异质性是否确实会损害图神经网络（GNNS）的性能。关键是要展现一个节点与其直接邻居之间的关系，例如它们是异性还是同质性？从这个角度来看，我们在这里研究了杂质表示在披露连接节点之间的关系之前/之后的杂音表示的作用。特别是，我们提出了一个端到端框架，该框架既学习边缘的类型（即异性/同质性），并利用边缘类型的信息来提高图形神经网络的表现力。我们以两种不同的方式实施此框架。具体而言，为了避免通过异质边缘传递的消息，我们可以通过删除边缘分类器鉴定的异性边缘来优化图形结构。另外，可以利用有关异性邻居的存在的信息进行特征学习，因此，设计了一种混合消息传递方法来汇总同质性邻居，并根据边缘分类使异性邻居多样化。广泛的实验表明，在整个同质级别的多个数据集上，通过在多个数据集上提出的框架对GNN的绩效提高了显着提高。

虽然图形神经网络（GNNS）最近成为用于建模关系数据的事实标准，但它们对图形节点或边缘特征的可用性产生了强烈的假设。然而，在许多现实世界应用中，功能仅部分可用;例如，在社交网络中，年龄和性别仅适用于一小部分用户。我们介绍了一种用于处理基于Dirichlet能量最小化的图形机学习应用中缺失特征的一般方法，并导致图表上的扩散型微分方程。该等方程的离散化产生了一种简单，快速且可伸缩的算法，我们调用特征传播。我们通过实验表明，所提出的方法在七个常见节点分类基准测试中优于先前的方法，并且可以承受令人惊讶的缺失特点率：平均而言，当缺少99％的功能时，我们只观察到约4％的相对精度下降。此外，在单个GPU上运行$ \ SIM $ 2.5M节点和$ \ SIM $ 123M边缘，只需10秒即可在单个GPU上运行。

使用多个计算节点通常可以加速在大型数据集上的深度神经网络。这种方法称为分布式训练，可以通过专门的消息传递协议，例如环形全部减少。但是，以比例运行这些协议需要可靠的高速网络，其仅在专用集群中可用。相比之下，许多现实世界应用程序，例如联合学习和基于云的分布式训练，在具有不稳定的网络带宽的不可靠的设备上运行。因此，这些应用程序仅限于使用参数服务器或基于Gossip的平均协议。在这项工作中，我们通过提出MOSHPIT全部减少的迭代平均协议来提升该限制，该协议指数地收敛于全局平均值。我们展示了我们对具有强烈理论保证的分布式优化方案的效率。该实验显示了与使用抢占从头开始训练的竞争性八卦的策略和1.5倍的加速，显示了1.3倍的Imagenet培训的加速。

Deep learning has revolutionized many machine learning tasks in recent years, ranging from image classification and video processing to speech recognition and natural language understanding. The data in these tasks are typically represented in the Euclidean space. However, there is an increasing number of applications where data are generated from non-Euclidean domains and are represented as graphs with complex relationships and interdependency between objects. The complexity of graph data has imposed significant challenges on existing machine learning algorithms. Recently, many studies on extending deep learning approaches for graph data have emerged. In this survey, we provide a comprehensive overview of graph neural networks (GNNs) in data mining and machine learning fields. We propose a new taxonomy to divide the state-of-the-art graph neural networks into four categories, namely recurrent graph neural networks, convolutional graph neural networks, graph autoencoders, and spatial-temporal graph neural networks. We further discuss the applications of graph neural networks across various domains and summarize the open source codes, benchmark data sets, and model evaluation of graph neural networks. Finally, we propose potential research directions in this rapidly growing field.

Graph classification is an important area in both modern research and industry. Multiple applications, especially in chemistry and novel drug discovery, encourage rapid development of machine learning models in this area. To keep up with the pace of new research, proper experimental design, fair evaluation, and independent benchmarks are essential. Design of strong baselines is an indispensable element of such works. In this thesis, we explore multiple approaches to graph classification. We focus on Graph Neural Networks (GNNs), which emerged as a de facto standard deep learning technique for graph representation learning. Classical approaches, such as graph descriptors and molecular fingerprints, are also addressed. We design fair evaluation experimental protocol and choose proper datasets collection. This allows us to perform numerous experiments and rigorously analyze modern approaches. We arrive to many conclusions, which shed new light on performance and quality of novel algorithms. We investigate application of Jumping Knowledge GNN architecture to graph classification, which proves to be an efficient tool for improving base graph neural network architectures. Multiple improvements to baseline models are also proposed and experimentally verified, which constitutes an important contribution to the field of fair model comparison.

现代深度学习应用程序需要越来越多地计算培训最先进的模型。为了解决这一需求，大型企业和机构使用专用的高性能计算集群，其建筑和维护既昂贵又远远超出大多数组织的预算。结果，一些研究方向成为几个大型工业甚至更少的学术作用者的独家领域。为了减轻这种差异，较小的团体可以汇集他们的计算资源并运行有利于所有参与者的协作实验。这种范式称为网格或志愿者计算，在众多科学领域看到了成功的应用。然而，由于高延迟，不对称带宽以及志愿者计算独特的几个挑战，使用这种用于机器学习的方法是困难的。在这项工作中，我们仔细分析了这些约束，并提出了一种专门用于协作培训的新型算法框架。我们展示了我们在现实条件下的SWAV和Albert预先预价的方法的有效性，并在成本的一小部分中实现了与传统设置相当的性能。最后，我们提供了一份成功的协作语言模型预先追溯的详细报告，有40名参与者。

With its capability to deal with graph data, which is widely found in practical applications, graph neural networks (GNNs) have attracted significant research attention in recent years. As societies become increasingly concerned with the need for data privacy protection, GNNs face the need to adapt to this new normal. Besides, as clients in Federated Learning (FL) may have relationships, more powerful tools are required to utilize such implicit information to boost performance. This has led to the rapid development of the emerging research field of federated graph neural networks (FedGNNs). This promising interdisciplinary field is highly challenging for interested researchers to grasp. The lack of an insightful survey on this topic further exacerbates the entry difficulty. In this paper, we bridge this gap by offering a comprehensive survey of this emerging field. We propose a 2-dimensional taxonomy of the FedGNNs literature: 1) the main taxonomy provides a clear perspective on the integration of GNNs and FL by analyzing how GNNs enhance FL training as well as how FL assists GNNs training, and 2) the auxiliary taxonomy provides a view on how FedGNNs deal with heterogeneity across FL clients. Through discussions of key ideas, challenges, and limitations of existing works, we envision future research directions that can help build more robust, explainable, efficient, fair, inductive, and comprehensive FedGNNs.

图形神经网络（GNN）在许多基于图的任务中表现出强大的表示能力。具体而言，由于其简单性和性能优势，GNN（例如APPNP）的解耦结构变得流行。但是，这些GNN的端到端培训使它们在计算和记忆消耗方面效率低下。为了应对这些局限性，在这项工作中，我们为图形神经网络提供了交替的优化框架，不需要端到端培训。在不同设置下进行的广泛实验表明，所提出的算法的性能与现有的最新算法相当，但具有更好的计算和记忆效率。此外，我们表明我们的框架可以利用优势来增强现有的脱钩GNN。

尽管在深度学习的其他应用领域中取得了非常深的架构，但流行的图神经网络是浅层模型。这降低了建模能力，并使模型无法捕获远程关系。浅设计的主要原因是过度平滑的，这导致节点状态随着深度的增加而变得更加相似。我们建立在GNNS和Pagerank之间的紧密联系的基础上，为此，个性化的Pagerank介绍了对个性化向量的考虑。通过这个想法，我们提出了个性化的Pagerank图神经网络（PPRGNN），该神经网络将图形卷积网络扩展到无限深度模型，该模型有机会将邻居聚集重置回每个迭代中的初始状态。我们引入了一个很好的解释调整，以重置重置并证明我们的方法与独特解决方案的收敛性，而无需放置任何限制，即使无限地进行了许多邻居聚集。与个性化的Pagerank一样，我们的结果不会过度光滑。在这样做的同时，在我们保持内存复杂性恒定的同时，时间复杂性保持线性，而与网络的深度无关，使其比较大图。我们从经验上展示了方法对各种节点和图形分类任务的有效性。在几乎所有情况下，PPRGNN优于可比较的方法。

分布式学习已成为缩放机器学习并解决数据隐私需求不断增长的积分工具。虽然对网络拓扑的更强大，但分散的学习计划没有获得与其集中式同行相同的人气水平，因为它们具有较低的竞争性能。在这项工作中，我们将此问题归因于分散的学习工人之间缺乏同步，在经验和理论上表现出来，收敛速度与工人之间的同步水平相关联。我们认为，基于非线性漫步（非政府组织）的新型分散式学习框架，享有有吸引力的有限时间共识性，以实现更好的同步。我们对其收敛性提供了仔细分析，并讨论了现代分布式优化应用的优点，如深神经网络。我们对通信延迟和随机聊天如何影响学习的分析进一步实现了适应异步和随机通信的实际变体的推导。为了验证我们提案的有效性，我们通过广泛的测试，我们通过广泛的测试来利用竞争解决方案，令人鼓舞的结果报告。

联合学习（FL）是一个蓬勃发展的分布式机器学习框架，其中中心参数服务器（PS）协调许多本地用户以训练全局一致的模型。传统的联合学习不可避免地依赖于具有PS的集中拓扑。因此，一旦PS失败，它将瘫痪。为了缓解如此单点故障，特别是在PS上，一些现有的工作已经提供了CDSGD和D-PSGD等分散的FL（DFL）实现，以便于分散拓扑中的流体。然而，这些方法仍存在一些问题，例如，在CDSGD中的用户最终模型和D-PSGD中的网络范围的模型平均必需品之间存在一些问题。为了解决这些缺陷，本文设计了一种作为DACFL的新DFL实现，其中每个用户使用自己的训练数据列举其模型，并通过对称和双随机矩阵将中间模型与其邻居交换。 DACFL将每个用户本地培训的进度视为离散时间过程，并采用第一个订单动态平均共识（FODAC）方法来跟踪\ Texit {平均模型}在没有PS的情况下。在本文中，我们还提供了DACFL的理论收敛性分析，即在I.I.D数据的前提下，以加强其合理性。 Mnist，Fashion-Mnist和CiFar-10的实验结果验证了我们在几间不变性和时变网络拓扑中的解决方案的可行性，并在大多数情况下声明DACFL优于D-PSGD和CDSGD。

随着数据生成越来越多地在没有连接连接的设备上进行，因此与机器学习（ML）相关的流量将在无线网络中无处不在。许多研究表明，传统的无线协议高效或不可持续以支持ML，这创造了对新的无线通信方法的需求。在这项调查中，我们对最先进的无线方法进行了详尽的审查，这些方法是专门设计用于支持分布式数据集的ML服务的。当前，文献中有两个明确的主题，模拟的无线计算和针对ML优化的数字无线电资源管理。这项调查对这些方法进行了全面的介绍，回顾了最重要的作品，突出了开放问题并讨论了应用程序方案。