图表卷积网络（GCNS）已成为图形学习的最先进的深度学习模型。然而，在大型图形数据集中训练和推理GCN仍然令人惊奇地挑战，将其应用于大型真实图表并阻碍更深层和更复杂的GCN图形的探索。这是因为随着图形尺寸的增长，节点特征的纯粹数量和大邻接矩阵可以很容易地爆炸所需的内存和数据移动。为了解决上述挑战，我们探讨了在缩小GCN图表时绘制彩票票证的可能性，即，基本上缩小邻接矩阵的子图能够实现与完整图表相当的准确性。具体而言，我们首次发现在稀释GCN图的早期阶段的图表早期（GEB）票的存在，并提出了一种简单但有效的探测器，以自动识别这种GEB门票的出现。此外，我们倡导图形模型共同优化，开发了一个通用的GCN早期鸟类训练框架，称为GCN培训的效率（1）在GCN图形和模型之间绘制联合早期鸟类，（ 2）启用GCN图形和模型的同时稀疏。关于各种GCN模型和数据集的实验一致地验证了我们的GEB寻找和GEBET的有效性，例如，我们的GEBT实现高达80.2％〜85.6％和84.6％〜87.5％的GCN培训和推理成本，同时提供了可比甚至与最先进的方法相比，更好的准确性。我们的源代码和补充附录可用于https://github.com/rice-eic/early-bird-gcn。

图形神经网络（GNNS）由于图形数据的规模和模型参数的数量呈指数增长，因此限制了它们在实际应用中的效用，因此往往会遭受高计算成本。为此，最近的一些作品着重于用彩票假设（LTH）稀疏GNN，以降低推理成本，同时保持绩效水平。但是，基于LTH的方法具有两个主要缺点：1）它们需要对密集模型进行详尽且迭代的训练，从而产生了极大的训练计算成本，2）它们仅修剪图形结构和模型参数，但忽略了节点功能维度，存在大量冗余。为了克服上述局限性，我们提出了一个综合的图形渐进修剪框架，称为CGP。这是通过在一个训练过程中设计在训练图周期修剪范式上进行动态修剪GNN来实现的。与基于LTH的方法不同，提出的CGP方法不需要重新训练，这大大降低了计算成本。此外，我们设计了一个共同策略，以全面地修剪GNN的所有三个核心元素：图形结构，节点特征和模型参数。同时，旨在完善修剪操作，我们将重生过程引入我们的CGP框架，以重新建立修剪但重要的连接。提出的CGP通过在6个GNN体系结构中使用节点分类任务进行评估，包括浅层模型（GCN和GAT），浅但深度散发模型（SGC和APPNP）以及Deep Models（GCNII和RESGCN），总共有14个真实图形数据集，包括来自挑战性开放图基准的大规模图数据集。实验表明，我们提出的策略在匹配时大大提高了训练和推理效率，甚至超过了现有方法的准确性。

图表卷积网络（GCNS）已成为最先进的图形学习模型。但是，它可以令人难以置于大图数据集的推断GCNS，这会将其应用于大型实际图表并阻碍更深层更复杂的GCN图形的探讨。这是因为真实世界图可能非常大而稀疏。此外，GCN的节点度倾向于遵循幂律分布，因此具有高度不规则的邻接矩阵，导致数据处理和移动中的禁止低效率，从而显着地限制了可实现的GCN加速效率。为此，本文提出了一种GCN算法和加速器协同设计框架被称为GCOD，其在很大程度上可以缓解上述GCN不规则性并提高GCNS推理效率。具体地，在算法级别上，GCOD集成了分割和征服GCN训练策略，该训练策略将图形偏离在本地邻域中的密集或稀疏，而不会影响模型精度，从而导致（主要）的图形邻接矩阵仅仅是两个级别的工作量并享受大部分增强的规律性，从而轻松加速。在硬件水平上，我们进一步开发了一个具有分离发动机的专用双子加速器，以处理每个上述密集和稀疏工作负载，进一步提高整体利用率和加速效率。广泛的实验和消融研究验证了我们的GCOD始终如一地减少了与CPU，GPU和现有技术GCN加速器相比的15286倍，294倍，7.8倍和2.5倍的加速，包括HYGCN和AWB -GCN分别在保持甚至提高任务准确性的同时。

随着实际图表的扩大，将部署具有数十亿个参数的较大GNN模型。此类模型中的高参数计数使图表的训练和推断昂贵且具有挑战性。为了降低GNN的计算和记忆成本，通常采用了输入图中的冗余节点和边缘等优化方法。但是，直接针对模型层稀疏的模型压缩，主要限于用于图像分类和对象检测等任务的传统深神网络（DNN）。在本文中，我们利用两种最先进的模型压缩方法（1）训练和修剪以及（2）稀疏训练GNN中的重量层。我们评估并比较了两种方法的效率，从精确性，训练稀疏性和现实世界图上的训练拖失lop方面。我们的实验结果表明，在IA-Email，Wiki-Talk和Stackoverflow数据集上，用于链接预测，稀疏训练和较低的训练拖失板可以使用火车和修剪方法达到可比的精度。在用于节点分类的大脑数据集上，稀疏训练使用较低的数字插槽（小于1/7的火车和修剪方法），并在极端模型的稀疏性下保留了更好的精度性能。

在本文中，我们研究了在深网（DNS）中修剪的重要性，以及（1）修剪高度参数的DNS之间的Yin＆Yang关系，这些DNS已从随机初始化训练，并且（2）培训“巧妙”的小型DNS，这些DNS已“巧妙”。初始化。在大多数情况下，从业者只能诉诸随机初始化，因此强烈需要对DN修剪建立扎实的理解。当前的文献在很大程度上仍然是经验的，缺乏对修剪如何影响DNS决策边界，如何解释修剪以及如何设计相应的原则修剪技术的理论理解。为了解决这些问题，我们建议在连续分段仿射（CPA）DNS的理论分析中采用最新进展。从这个角度来看，我们将能够检测到早期的鸟类（EB）票务现象，为当前的修剪技术提供可解释性，并制定有原则的修剪策略。在研究的每个步骤中，我们进行了广泛的实验，以支持我们的主张和结果；尽管我们的主要目标是增强对DN修剪的当前理解，而不是开发一种新的修剪方法，但我们的样条修剪标准在层和全球修剪方面与先进的修剪方法相当甚至超过了。

神经体系结构搜索（NAS）在从给定的超网中寻找有效的深神经网络（DNN）方面取得了惊人的成功。同时，彩票票证假设表明，DNN包含可以从头开始训练的小子网，以达到比原始DNN的可比精度或更高的精度。因此，目前是通过第一次搜索然后修剪的管道开发有效的DNN的常见做法。然而，这样做通常需要进行搜索训练培训过程，因此计算成本过高。在本文中，我们首次发现高效的DNN及其彩票子网（即彩票）可以直接从超级网络中直接识别，我们将其称为超级票，这是通过共同体系结构的两合一培训方案。搜索和参数修剪。此外，我们制定了一种进步和统一的超级标识识别策略，该策略使子网络在超网训练期间的连通性更改，比传统的稀疏培训更高的准确性和效率折衷。最后，我们评估了从一个任务中汲取的这种确定的超级款项是否可以很好地转移到其他任务，从而验证其同时处理多个任务的潜力。对三个任务和四个基准数据集进行的广泛实验和消融研究表明，与典型的NAS和修剪管道相比，我们所提出的超级款项实现了提高的准确性和效率权衡。可以在https://github.com/rice-eic/supertickets上获得代码和预估计的模型。

图形神经网络（GNN）被广泛用于在图形上执行不同的机器学习任务。随着图形的大小不断增长，GNN变得更深，除了记忆要求之外，训练和推理时间也变得昂贵。因此，在不牺牲准确性的情况下，图形稀疏或模型压缩成为图形学习任务的可行方法。一些现有技术仅研究图形和GNN模型的稀疏性。在本文中，我们开发了一条稀疏管道，以研究GNN中所有可能的稀疏。我们提供了理论分析，并从经验上表明，它可以在嵌入矩阵的情况下总计11.6 \％的额外稀疏性，而无需牺牲常用的基准图数据集的准确性。

鉴于在现实世界应用中大规模图的流行率，训练神经模型的存储和时间引起了人们的关注。为了减轻关注点，我们提出和研究图形神经网络（GNNS）的图形凝结问题。具体而言，我们旨在将大型原始图凝结成一个小的，合成的和高度信息的图，以便在小图和大图上训练的GNN具有可比性的性能。我们通过优化梯度匹配损失并设计一种凝结节点期货和结构信息的策略来模仿原始图上的GNN训练轨迹，以解决凝结问题。广泛的实验证明了所提出的框架在将不同的图形数据集凝结成信息较小的较小图中的有效性。特别是，我们能够在REDDIT上近似于95.3％的原始测试准确性，Flickr的99.8％和CiteSeer的99.0％，同时将其图形尺寸降低了99.9％以上，并且可以使用冷凝图来训练各种GNN架构Code在https://github.com/chandlerbang/gcond上发布。

有效的深层神经网络（DNN）模型配备了紧凑的操作员（例如，深度卷积）在降低DNN的理论复杂性（例如，权重/操作总数）的同时，在保持体面的模型准确性的同时，显示出很大的潜力。但是，由于其通常采用的紧凑型操作员的低硬件利用率，现有的有效DNN仍然受到履行其提高现实硬件效率的承诺的限制。在这项工作中，我们为开发真实硬件有效的DNN开辟了新的压缩范式，从而提高了硬件效率，同时保持模型的准确性。有趣的是，我们观察到，尽管某些DNN层的激活功能有助于DNNS的训练优化和可实现的准确性，但在训练后可以正确删除它们，而不会损害模型的准确性。受到这一观察的启发，我们提出了一个称为DepthShrinker的框架，该框架通过缩小现有有效DNN的基本构建块来开发硬件友好的紧凑型网络，这些构件具有不规则的计算模式，并具有大量改进的硬件利用率，从而将硬件的计算模式缩小到密集的情况下。令人兴奋的是，我们的DepthShrinker框架提供了硬件友好的紧凑网络，既优于最先进的有效DNN和压缩技术方法元元素。我们的代码可在以下网址找到：https：//github.com/facebookresearch/depthshrinker。

Recent works have impressively demonstrated that there exists a subnetwork in randomly initialized convolutional neural networks (CNNs) that can match the performance of the fully trained dense networks at initialization, without any optimization of the weights of the network (i.e., untrained networks). However, the presence of such untrained subnetworks in graph neural networks (GNNs) still remains mysterious. In this paper we carry out the first-of-its-kind exploration of discovering matching untrained GNNs. With sparsity as the core tool, we can find \textit{untrained sparse subnetworks} at the initialization, that can match the performance of \textit{fully trained dense} GNNs. Besides this already encouraging finding of comparable performance, we show that the found untrained subnetworks can substantially mitigate the GNN over-smoothing problem, hence becoming a powerful tool to enable deeper GNNs without bells and whistles. We also observe that such sparse untrained subnetworks have appealing performance in out-of-distribution detection and robustness of input perturbations. We evaluate our method across widely-used GNN architectures on various popular datasets including the Open Graph Benchmark (OGB).

模型压缩是在功率和内存受限资源上部署深神网络（DNN）的必要技术。但是，现有的模型压缩方法通常依赖于人类的专业知识，并专注于参数的本地重要性，而忽略了DNN中丰富的拓扑信息。在本文中，我们提出了一种基于图神经网络（GNNS）的新型多阶段嵌入技术，以识别DNN拓扑并使用增强学习（RL）以找到合适的压缩策略。我们执行了资源约束（即失败）通道修剪，并将我们的方法与最先进的模型压缩方法进行了比较。我们评估了从典型到移动友好网络的各种模型的方法，例如Resnet家族，VGG-16，Mobilenet-V1/V2和Shufflenet。结果表明，我们的方法可以通过最低的微调成本实现更高的压缩比，但产生了出色和竞争性的表现。

图形神经网络（GNNS）已成为与图形相关任务的高度成功的工具。然而，现实世界问题涉及非常大的图表，并且将GNNS所需的计算资源迅速增长。此外，实际图的嘈杂性质和大小导致GNNS如果不正常化，则会过度适合。令人惊讶的是，最近的作品表明，大图通常涉及许多可以消除的冗余组件，而不会影响太多性能。这包括通过GNN层或作为缩小输入图的预处理步骤的推理期间节点或边缘去除。这种有趣现象使得能够开发高效和准确的最先进的GNN。在本文中，我们进一步迈出了逐步逐步揭示这种现象，并提出一种称为地区敏感修剪（LSP）的系统方法，用于基于位置敏感散列的曲线图。我们的目标是缩小图形，使原始图的类似本地环境导致生成的稀疏图中的类似环境，这是与图形相关任务的重要特征。为了证明基于本地图形属性的修剪应用，我们举例说明了基于各种场景中的其他修剪策略应用修剪的优势。关于合成和现实世界数据集的广泛实验证明了LSP的优越性，从大图中除去大量边缘而不会影响性能，伴随着相当大的加速度。

图形神经网络（GNN）在学习强大的节点表示中显示了令人信服的性能，这些表现在保留节点属性和图形结构信息的强大节点表示中。然而，许多GNNS在设计有更深的网络结构或手柄大小的图形时遇到有效性和效率的问题。已经提出了几种采样算法来改善和加速GNN的培训，但他们忽略了解GNN性能增益的来源。图表数据中的信息的测量可以帮助采样算法来保持高价值信息，同时消除冗余信息甚至噪声。在本文中，我们提出了一种用于GNN的公制引导（MEGUIDE）子图学习框架。 MEGUIDE采用两种新颖的度量：功能平滑和连接失效距离，以指导子图采样和迷你批次的培训。功能平滑度专为分析节点的特征而才能保留最有价值的信息，而连接失败距离可以测量结构信息以控制子图的大小。我们展示了MEGUIDE在多个数据集上培训各种GNN的有效性和效率。

在过去几年中，神经网络的性能在越来越多的浮点操作（拖鞋）的成本上显着提高。但是，当计算资源有限时，更多的拖鞋可能是一个问题。作为解决这个问题的尝试，修剪过滤器是一种常见的解决方案，但大多数现有的修剪方法不有效地保持模型精度，因此需要大量的芬降时期。在本文中，我们提出了一种自动修剪方法，该方法学习保存的神经元以保持模型精度，同时将絮凝到预定目标。为了完成这项任务，我们介绍了一种可训练的瓶颈，只需要一个单一的单一时期，只需要一个数据集的25.6％（Cifar-10）或7.49％（ILSVRC2012）来了解哪些过滤器。在各种架构和数据集上的实验表明，该方法不仅可以在修剪后保持精度，而且在FineTuning之后也优越现有方法。我们在Reset-50上达到了52.00％的拖鞋，在ILSVRC2012上的灌溉后的前1个精度为47.51％，最先进的（SOTA）精度为76.63％。代码可用（链接匿名审核）。

彩票票证假设（LTH）表明，密集的模型包含高度稀疏的子网（即获奖门票），可以隔离培训以完全准确。尽管做出了许多激动人心的努力，但仍有一个“常识”很少受到挑战：通过迭代级修剪（IMP）发现了一张获胜的票，因此由此产生的修剪子网仅具有非结构化的稀疏性。这一差距限制了在实践中赢得门票的吸引力，因为高度不规则的稀疏模式在硬件上加速的挑战是挑战性的。同时，直接将结构化修剪替换为非结构化的修剪，以更严重地损害绩效，并且通常无法找到获胜的票。在本文中，我们证明了第一个积极的结果是，总体上可以有效地找到结构上稀疏的获胜票。核心思想是在每一轮（非结构化）IMP之后附加“后处理技术”，以实施结构稀疏的形成。具体而言，我们首先在某些被认为很重要的通道中“重新填充”修剪元素，然后“重新组”非零元素以创建灵活的群体结构模式。我们确定的渠道和团体结构子网都赢得了彩票，并以现有硬件很容易支持的大量推理加速。广泛的实验，在多个网络骨架的不同数据集上进行，一致验证了我们的建议，表明LTH的硬件加速障碍现在已被删除。具体而言，结构上的获胜票最多可获得{64.93％，64.84％，60.23％}的运行时间节省，以{36％〜80％，74％，58％}的稀疏性在{Cifar，cifar，tiny-imageNet，imageNet}上保持可比较的精度。代码在https://github.com/vita-group/structure-lth上。

最近，图形神经网络（GNN）通过利用图形结构和节点特征的知识来表现出图表表示的显着性能。但是，他们中的大多数都有两个主要限制。首先，GNN可以通过堆叠更多的层来学习高阶结构信息，但由于过度光滑的问题，无法处理较大的深度。其次，由于昂贵的计算成本和高内存使用情况，在大图上应用这些方法并不容易。在本文中，我们提出了节点自适应特征平滑（NAFS），这是一种简单的非参数方法，该方法构建了没有参数学习的节点表示。 NAFS首先通过特征平滑提取每个节点及其不同啤酒花的邻居的特征，然后自适应地结合了平滑的特征。此外，通过不同的平滑策略提取的平滑特征的合奏可以进一步增强构建的节点表示形式。我们在两个不同的应用程序方案上对四个基准数据集进行实验：节点群集和链接预测。值得注意的是，具有功能合奏的NAFS优于这些任务上最先进的GNN，并减轻上述大多数基于学习的GNN对应物的两个限制。

轻量级模型设计已成为应用深度学习技术的重要方向，修剪是实现模型参数和拖鞋的大量减少的有效均值。现有的神经网络修剪方法主要从参数的重要性开始，以及设计参数评估度量来迭代地执行参数修剪。这些方法不是从模型拓扑的角度研究的，可能是有效但不高效的，并且需要完全不同的不同数据集修剪。在本文中，我们研究了神经网络的图形结构，并提出了常规的基于图的修剪（RGP）来执行单次神经网络修剪。我们生成常规图，将图的节点度值设置为满足修剪比率，并通过将边缘交换以获得最佳边缘分布来降低曲线图的平均最短路径长度。最后，将获得的图形映射到神经网络结构中以实现修剪。实验表明，曲线图的平均最短路径长度与相应神经网络的分类精度负相关，所提出的RGP显示出强的精度保持能力，具有极高的参数减少（超过90％）和拖鞋（更多超过90％）。

深度神经网络（DNN）在解决许多真实问题方面都有效。较大的DNN模型通常表现出更好的质量（例如，精度，精度），但它们的过度计算会导致长期推理时间。模型稀疏可以降低计算和内存成本，同时保持模型质量。大多数现有的稀疏算法是单向移除的重量，而其他人则随机或贪婪地探索每层进行修剪的小权重子集。这些算法的局限性降低了可实现的稀疏性水平。此外，许多算法仍然需要预先训练的密集模型，因此遭受大的内存占地面积。在本文中，我们提出了一种新颖的预定生长和修剪（间隙）方法，而无需预先培训密集模型。它通过反复生长一个层次的层来解决以前的作品的缺点，然后在一些训练后修剪回到稀疏。实验表明，使用所提出的方法修剪模型匹配或击败高度优化的密集模型的质量，在各种任务中以80％的稀疏度，例如图像分类，客观检测，3D对象分段和翻译。它们还优于模型稀疏的其他最先进的（SOTA）方法。作为一个例子，通过间隙获得的90％不均匀的稀疏resnet-50模型在想象中实现了77.9％的前1个精度，提高了先前的SOTA结果1.5％。所有代码将公开发布。

Over-parameterization of deep neural networks (DNNs) has shown high prediction accuracy for many applications. Although effective, the large number of parameters hinders its popularity on resource-limited devices and has an outsize environmental impact. Sparse training (using a fixed number of nonzero weights in each iteration) could significantly mitigate the training costs by reducing the model size. However, existing sparse training methods mainly use either random-based or greedy-based drop-and-grow strategies, resulting in local minimal and low accuracy. In this work, to assist explainable sparse training, we propose important weights Exploitation and coverage Exploration to characterize Dynamic Sparse Training (DST-EE), and provide quantitative analysis of these two metrics. We further design an acquisition function and provide the theoretical guarantees for the proposed method and clarify its convergence property. Experimental results show that sparse models (up to 98\% sparsity) obtained by our proposed method outperform the SOTA sparse training methods on a wide variety of deep learning tasks. On VGG-19 / CIFAR-100, ResNet-50 / CIFAR-10, ResNet-50 / CIFAR-100, our method has even higher accuracy than dense models. On ResNet-50 / ImageNet, the proposed method has up to 8.2\% accuracy improvement compared to SOTA sparse training methods.

Graph convolutional network (GCN) has been successfully applied to many graph-based applications; however, training a large-scale GCN remains challenging. Current SGD-based algorithms suffer from either a high computational cost that exponentially grows with number of GCN layers, or a large space requirement for keeping the entire graph and the embedding of each node in memory. In this paper, we propose Cluster-GCN, a novel GCN algorithm that is suitable for SGD-based training by exploiting the graph clustering structure. Cluster-GCN works as the following: at each step, it samples a block of nodes that associate with a dense subgraph identified by a graph clustering algorithm, and restricts the neighborhood search within this subgraph. This simple but effective strategy leads to significantly improved memory and computational efficiency while being able to achieve comparable test accuracy with previous algorithms. To test the scalability of our algorithm, we create a new Amazon2M data with 2 million nodes and 61 million edges which is more than 5 times larger than the previous largest publicly available dataset (Reddit). For training a 3-layer GCN on this data, Cluster-GCN is faster than the previous state-of-the-art VR-GCN (1523 seconds vs 1961 seconds) and using much less memory (2.2GB vs 11.2GB). Furthermore, for training 4 layer GCN on this data, our algorithm can finish in around 36 minutes while all the existing GCN training algorithms fail to train due to the out-of-memory issue. Furthermore, Cluster-GCN allows us to train much deeper GCN without much time and memory overhead, which leads to improved prediction accuracy-using a 5-layer Cluster-GCN, we achieve state-of-the-art test F1 score 99.36 on the PPI dataset, while the previous best result was 98.71 by [16]. Our codes are publicly available at https://github.com/google-research/google-research/ tree/master/cluster_gcn.