正规化可以通过引入感应偏压来减轻训练与推理之间的泛化差距。现有的作品已经提出了各种视角的各种归纳偏见。然而，据我们所知，他们都没有探讨各种神经元的类依赖性响应分布的视角探讨归纳偏见。在本文中，我们对这种分布的特征进行了大量分析。基于分析结果，我们阐明了神经元稳定性假设：具有与同一类别的情况相似的神经元导致更好的概括。因此，我们提出了一种新的正则化方法，称为神经元稳定正则化，以减少神经元内响应方差。我们在多层的Perceptron，卷积神经网络和图形神经网络上进行了广泛的实验，具有不同域的流行基准数据集，这表明我们的神经元稳定性正则化始终优于Vanilla版本的模型，具有显着增益和低额外的开销。

学习率是对神经网络培训有重大影响的最重要的超参数之一。学习率计划在实际实践中广泛使用，以根据预定义的时间表来调整学习率，以进行快速收敛和良好的概括。但是，现有的学习率时间表都是启发式算法，缺乏理论支持。因此，人们通常通过多个临时试验选择学习率计划，并且获得的学习率时间表是最佳的。为了提高获得的次级学习率计划的性能，我们提出了一个通用的学习率计划插件，称为学习率扰动（LEAP），可以将其应用于各种学习率计划，以通过引入一定的扰动来改善模型培训达到学习率。我们发现，通过如此简单而有效的策略，培训处理成倍地利用了平坦的最小值，而不是具有保证收敛的尖锐的最小值，从而提高了更好的概括能力。此外，我们进行了广泛的实验，表明使用LEAP培训可以使用各种学习率计划（包括恒定的学习率）来改善各种数据集对各种深度学习模型的性能。

由于稀疏神经网络通常包含许多零权重，因此可以在不降低网络性能的情况下潜在地消除这些不必要的网络连接。因此，设计良好的稀疏神经网络具有显着降低拖鞋和计算资源的潜力。在这项工作中，我们提出了一种新的自动修剪方法 - 稀疏连接学习（SCL）。具体地，重量被重新参数化为可培训权重变量和二进制掩模的元素方向乘法。因此，由二进制掩模完全描述网络连接，其由单位步进函数调制。理论上，从理论上证明了使用直通估计器（STE）进行网络修剪的基本原理。这一原则是STE的代理梯度应该是积极的，确保掩模变量在其最小值处收敛。在找到泄漏的Relu后，SoftPlus和Identity Stes可以满足这个原理，我们建议采用SCL的身份STE以进行离散面膜松弛。我们发现不同特征的面具梯度非常不平衡，因此，我们建议将每个特征的掩模梯度标准化以优化掩码变量训练。为了自动训练稀疏掩码，我们将网络连接总数作为我们的客观函数中的正则化术语。由于SCL不需要由网络层设计人员定义的修剪标准或超级参数，因此在更大的假设空间中探讨了网络，以实现最佳性能的优化稀疏连接。 SCL克服了现有自动修剪方法的局限性。实验结果表明，SCL可以自动学习并选择各种基线网络结构的重要网络连接。 SCL培训的深度学习模型以稀疏性，精度和减少脚波特的SOTA人类设计和自动修剪方法训练。

Recent years have witnessed great success in handling graph-related tasks with Graph Neural Networks (GNNs). Despite their great academic success, Multi-Layer Perceptrons (MLPs) remain the primary workhorse for practical industrial applications. One reason for this academic-industrial gap is the neighborhood-fetching latency incurred by data dependency in GNNs, which make it hard to deploy for latency-sensitive applications that require fast inference. Conversely, without involving any feature aggregation, MLPs have no data dependency and infer much faster than GNNs, but their performance is less competitive. Motivated by these complementary strengths and weaknesses, we propose a Graph Self-Distillation on Neighborhood (GSDN) framework to reduce the gap between GNNs and MLPs. Specifically, the GSDN framework is based purely on MLPs, where structural information is only implicitly used as prior to guide knowledge self-distillation between the neighborhood and the target, substituting the explicit neighborhood information propagation as in GNNs. As a result, GSDN enjoys the benefits of graph topology-awareness in training but has no data dependency in inference. Extensive experiments have shown that the performance of vanilla MLPs can be greatly improved with self-distillation, e.g., GSDN improves over stand-alone MLPs by 15.54\% on average and outperforms the state-of-the-art GNNs on six datasets. Regarding inference speed, GSDN infers 75X-89X faster than existing GNNs and 16X-25X faster than other inference acceleration methods.

Graph Neural Networks (GNNs) have achieved promising performance on a wide range of graph-based tasks. Despite their success, one severe limitation of GNNs is the over-smoothing issue (indistinguishable representations of nodes in different classes). In this work, we present a systematic and quantitative study on the over-smoothing issue of GNNs. First, we introduce two quantitative metrics, MAD and MADGap, to measure the smoothness and oversmoothness of the graph nodes representations, respectively. Then, we verify that smoothing is the nature of GNNs and the critical factor leading to over-smoothness is the low information-to-noise ratio of the message received by the nodes, which is partially determined by the graph topology. Finally, we propose two methods to alleviate the oversmoothing issue from the topological view: (1) MADReg which adds a MADGap-based regularizer to the training objective; (2) AdaEdge which optimizes the graph topology based on the model predictions. Extensive experiments on 7 widely-used graph datasets with 10 typical GNN models show that the two proposed methods are effective for relieving the over-smoothing issue, thus improving the performance of various GNN models.

培训深度神经网络是一项非常苛刻的任务，尤其是具有挑战性的是如何适应体系结构以提高训练有素的模型的性能。我们可以发现，有时，浅网络比深网概括得更好，并且增加更多层会导致更高的培训和测试错误。深层残留学习框架通过将跳过连接添加到几个神经网络层来解决此降解问题。最初，需要这种跳过连接才能成功地训练深层网络，因为网络的表达性会随着深度的指数增长而成功。在本文中，我们首先通过神经网络分析信息流。我们介绍和评估批处理循环，该批处理通过神经网络的每一层量化信息流。我们从经验和理论上证明，基于梯度下降的训练方法需要正面批处理融合，以成功地优化给定的损失功能。基于这些见解，我们引入了批处理凝聚正则化，以使基于梯度下降的训练算法能够单独通过每个隐藏层来优化信息流。借助批处理正则化，梯度下降优化器可以将不可吸引的网络转换为可训练的网络。我们从经验上表明，因此我们可以训练“香草”完全连接的网络和卷积神经网络 - 没有跳过连接，批处理标准化，辍学或任何其他建筑调整 - 只需将批处理 - 凝集正则术语添加到500层中损失功能。批处理 - 注入正则化的效果不仅在香草神经网络上评估，还评估了在各种计算机视觉以及自然语言处理任务上的剩余网络，自动编码器以及变压器模型上。

图形神经网络（GNN）由于从图形结构数据中学习表示能力而引起了很多关注。尽管GNN在许多域中成功地应用了，但GNN的优化程度较低，并且在节点分类的性能很大程度上受到了长尾节点学位分布的影响。本文着重于通过归一化提高GNN的性能。详细说明，通过研究图中的节点度的长尾巴分布，我们提出了一种新颖的GNN归一化方法，该方法称为RESNORM（\ textbf {res}将长尾巴分布纳入正常分布，通过\ textbf {norm} alization）。 RESNOR的$比例$操作重塑节点标准偏差（NSTD）分布，以提高尾部节点的准确性（\ textit {i}。\ textit {e}。，低度节点）。我们提供了理论解释和经验证据，以理解上述$ scale $的机制。除了长期的分销问题外，过度光滑也是困扰社区的基本问题。为此，我们分析了标准偏移的行为，并证明了标准移位是重量矩阵上的预处理，从而增加了过度平滑的风险。考虑到过度光滑的问题，我们为Resnorm设计了一个$ Shift $操作，以低成本的方式模拟了特定于学位的参数策略。广泛的实验验证了重新分类对几个节点分类基准数据集的有效性。

Many large-scale machine learning (ML) applications need to perform decentralized learning over datasets generated at different devices and locations. Such datasets pose a significant challenge to decentralized learning because their different contexts result in significant data distribution skew across devices/locations. In this paper, we take a step toward better understanding this challenge by presenting a detailed experimental study of decentralized DNN training on a common type of data skew: skewed distribution of data labels across devices/locations. Our study shows that: (i) skewed data labels are a fundamental and pervasive problem for decentralized learning, causing significant accuracy loss across many ML applications, DNN models, training datasets, and decentralized learning algorithms; (ii) the problem is particularly challenging for DNN models with batch normalization; and (iii) the degree of data skew is a key determinant of the difficulty of the problem. Based on these findings, we present SkewScout, a system-level approach that adapts the communication frequency of decentralized learning algorithms to the (skew-induced) accuracy loss between data partitions. We also show that group normalization can recover much of the accuracy loss of batch normalization.

近年来，图形神经网络（GNNS）在许多现实世界中的应用（例如建议和药物发现）中取得了巨大的成功。尽管取得了成功，但已将过度厚度确定为限制GNN绩效的关键问题之一。这表明由于堆叠聚合器，学到的节点表示是无法区分的。在本文中，我们提出了一种新的观点，以研究深度GNN的性能降低，即特征过度相关。通过有关此问题的经验和理论研究，我们证明了更深层次的GNN中的特征过度相关的存在，并揭示了导致该问题的潜在原因。为了减少功能相关性，我们提出了一个通用框架，可以鼓励GNN编码较少的冗余信息。广泛的实验表明，Decorr可以帮助实现更深入的GNN，并与现有的技术相辅相成。

尽管对视觉识别任务进行了显着进展，但是当培训数据稀缺或高度不平衡时，深神经网络仍然易于普遍，使他们非常容易受到现实世界的例子。在本文中，我们提出了一种令人惊讶的简单且高效的方法来缓解此限制：使用纯噪声图像作为额外的训练数据。与常见使用添加剂噪声或对抗数据的噪声不同，我们通过直接训练纯无随机噪声图像提出了完全不同的视角。我们提出了一种新的分发感知路由批量归一化层（DAR-BN），除了同一网络内的自然图像之外，还可以在纯噪声图像上训练。这鼓励泛化和抑制过度装备。我们所提出的方法显着提高了不平衡的分类性能，从而获得了最先进的导致大量的长尾图像分类数据集（Cifar-10-LT，CiFar-100-LT，想象齿 - LT，和celeba-5）。此外，我们的方法非常简单且易于使用作为一般的新增强工具（在现有增强的顶部），并且可以在任何训练方案中结合。它不需要任何专门的数据生成或培训程序，从而保持培训快速高效

通过在多个观察到的源极域上培训模型，域概括旨在概括到无需进一步培训的任意看不见的目标领域。现有的作品主要专注于学习域不变的功能，以提高泛化能力。然而，由于在训练期间不可用目标域，因此前面的方法不可避免地遭受源极域中的过度。为了解决这个问题，我们开发了一个有效的基于辍学的框架，可以扩大模型的注意力，这可以有效地减轻过度的问题。特别地，与典型的辍学方案不同，通常在固定层上进行丢失，首先，我们随机选择一层，然后我们随机选择其通道以进行丢弃。此外，我们利用进步方案增加训练期间辍学的比率，这可以逐步提高培训模型的难度，以增强模型的稳健性。此外，为了进一步缓解过度拟合问题的影响，我们利用了在图像级和特征级别的增强方案来产生强大的基线模型。我们对多个基准数据集进行广泛的实验，该数据集显示了我们的方法可以优于最先进的方法。

How to improve discriminative feature learning is central in classification. Existing works address this problem by explicitly increasing inter-class separability and intra-class similarity, whether by constructing positive and negative pairs for contrastive learning or posing tighter class separating margins. These methods do not exploit the similarity between different classes as they adhere to i.i.d. assumption in data. In this paper, we embrace the real-world data distribution setting that some classes share semantic overlaps due to their similar appearances or concepts. Regarding this hypothesis, we propose a novel regularization to improve discriminative learning. We first calibrate the estimated highest likelihood of one sample based on its semantically neighboring classes, then encourage the overall likelihood predictions to be deterministic by imposing an adaptive exponential penalty. As the gradient of the proposed method is roughly proportional to the uncertainty of the predicted likelihoods, we name it adaptive discriminative regularization (ADR), trained along with a standard cross entropy loss in classification. Extensive experiments demonstrate that it can yield consistent and non-trivial performance improvements in a variety of visual classification tasks (over 10 benchmarks). Furthermore, we find it is robust to long-tailed and noisy label data distribution. Its flexible design enables its compatibility with mainstream classification architectures and losses.

关于稀疏神经网络训练（稀疏训练）的最新研究表明，通过从头开始训练本质上稀疏的神经网络可以实现绩效和效率之间的令人信服的权衡。现有的稀疏训练方法通常努力在一次跑步中找到最佳的稀疏子网，而无需涉及任何昂贵的密集或预训练步骤。例如，作为最突出的方向之一，动态稀疏训练（DST）能够通过在训练过程中迭代发展稀疏拓扑来实现竞争性训练的竞争性能。在本文中，我们认为最好分配有限的资源来创建多个低损失的稀疏子网并将其超级置于更强的基因，而不是完全分配所有资源以找到单个子网络。为了实现这一目标，需要两个Desiderata：（1）在一个培训过程中有效生产许多低损失的子网，即所谓的廉价门票，仅限于用于密集培训的标准培训时间； （2）将这些廉价的门票有效地超级为一个更强的子网，而无需超越约束参数预算。为了证实我们的猜想，我们提出了一种新颖的稀疏训练方法，称为\ textbf {sup-tickets}，可以在单个稀疏到较小的训练过程中同时满足上述两个desiderata。在CIFAR-10/100和Imagenet上的各种现代体系结构中，我们表明，SUP-Tickets与现有的稀疏训练方法无缝集成，并显示出一致的性能提高。

为了对线性不可分离的数据进行分类，神经元通常被组织成具有至少一个隐藏层的多层神经网络。灵感来自最近神经科学的发现，我们提出了一种新的神经元模型以及一种新的激活函数，可以使用单个神经元来学习非线性决策边界。我们表明标准神经元随后是新颖的顶端枝晶激活（ADA）可以使用100 \％的精度来学习XOR逻辑函数。此外，我们在计算机视觉，信号处理和自然语言处理中进行五个基准数据集进行实验，即摩洛哥，utkface，crema-d，时尚mnist和微小的想象成，表明ADA和泄漏的ADA功能提供了卓越的结果用于各种神经网络架构的整流线性单元（Relu），泄漏的Relu，RBF和嗖嗖声，例如单隐层或两个隐藏层的多层的Perceptrons（MLPS）和卷积神经网络（CNNS），如LENET，VGG，RESET和字符级CNN。当我们使用具有顶端树突激活（Pynada）的金字塔神经元改变神经元的标准模型时，我们获得进一步的性能改进。我们的代码可用于：https://github.com/raduionescu/pynada。

Image classification with small datasets has been an active research area in the recent past. However, as research in this scope is still in its infancy, two key ingredients are missing for ensuring reliable and truthful progress: a systematic and extensive overview of the state of the art, and a common benchmark to allow for objective comparisons between published methods. This article addresses both issues. First, we systematically organize and connect past studies to consolidate a community that is currently fragmented and scattered. Second, we propose a common benchmark that allows for an objective comparison of approaches. It consists of five datasets spanning various domains (e.g., natural images, medical imagery, satellite data) and data types (RGB, grayscale, multispectral). We use this benchmark to re-evaluate the standard cross-entropy baseline and ten existing methods published between 2017 and 2021 at renowned venues. Surprisingly, we find that thorough hyper-parameter tuning on held-out validation data results in a highly competitive baseline and highlights a stunted growth of performance over the years. Indeed, only a single specialized method dating back to 2019 clearly wins our benchmark and outperforms the baseline classifier.

本文提出了一种新的和富有激光激活方法，被称为FPLUS，其利用具有形式的极性标志的数学功率函数。它是通过常见的逆转操作来启发，同时赋予仿生学的直观含义。制剂在某些先前知识和预期特性的条件下理论上得出，然后通过使用典型的基准数据集通过一系列实验验证其可行性，其结果表明我们的方法在许多激活功能中拥有卓越的竞争力，以及兼容稳定性许多CNN架构。此外，我们将呈现给更广泛类型的功能延伸到称为PFPlus的函数，具有两个可以固定的或学习的参数，以便增加其表现力的容量，并且相同的测试结果验证了这种改进。

作为对培训数据隐私的长期威胁，会员推理攻击（MIA）在机器学习模型中无处不在。现有作品证明了培训的区分性与测试损失分布与模型对MIA的脆弱性之间的密切联系。在现有结果的激励下，我们提出了一个基于轻松损失的新型培训框架，并具有更可实现的学习目标，从而导致概括差距狭窄和隐私泄漏减少。 RelaseLoss适用于任何分类模型，具有易于实施和可忽略不计的开销的额外好处。通过对具有不同方式（图像，医疗数据，交易记录）的五个数据集进行广泛的评估，我们的方法始终优于针对MIA和模型效用的韧性，以最先进的防御机制优于最先进的防御机制。我们的防御是第一个可以承受广泛攻击的同时，同时保存（甚至改善）目标模型的效用。源代码可从https://github.com/dingfanchen/relaxloss获得

We introduce a method to train Quantized Neural Networks (QNNs) -neural networks with extremely low precision (e.g., 1-bit) weights and activations, at run-time. At traintime the quantized weights and activations are used for computing the parameter gradients. During the forward pass, QNNs drastically reduce memory size and accesses, and replace most arithmetic operations with bit-wise operations. As a result, power consumption is expected to be drastically reduced. We trained QNNs over the MNIST, CIFAR-10, SVHN and ImageNet datasets. The resulting QNNs achieve prediction accuracy comparable to their 32-bit counterparts. For example, our quantized version of AlexNet with 1-bit weights and 2-bit activations achieves 51% top-1 accuracy. Moreover, we quantize the parameter gradients to 6-bits as well which enables gradients computation using only bit-wise operation. Quantized recurrent neural networks were tested over the Penn Treebank dataset, and achieved comparable accuracy as their 32-bit counterparts using only 4-bits. Last but not least, we programmed a binary matrix multiplication GPU kernel with which it is possible to run our MNIST QNN 7 times faster than with an unoptimized GPU kernel, without suffering any loss in classification accuracy. The QNN code is available online.

尽管神经网络取得了巨大的经验成功，但对培训程序的理论理解仍然有限，尤其是在为优化问题的非凸性性质而提供测试性能的性能保证时。当前的论文通过简化了凸结构的另一个问题来研究神经网络培训的另一种方法 - 解决单调变异不平等（MVI） - 灵感来自最近的工作（Juditsky＆Nemirovsky，2019年）。可以通过计算有效的过程找到对MVI的解决方案，重要的是，这会导致$ \ ell_2 $和$ \ ell _ {\ elfty} $在模型恢复和预测准确性下的性能保证层线性神经网络。此外，我们研究了MVI在训练多层神经网络中的使用，并提出了一种称为\ textit {随机变异不平等}（SVI）的实用算法，并证明了其在训练完全连接的神经网络和图形神经网络（GNN）中的适用性（GNN ）（SVI是完全一般的，可用于训练其他类型的神经网络）。与广泛使用的随机梯度下降方法相比，我们证明了SVI的竞争性或更好的性能，涉及各种性能指标的合成和真实网络数据预测任务，尤其是在培训早期阶段提高效率方面。

作为深度图像分类应用，例如，人脸识别，在我们日常生活中越来越普遍，他们的公平问题提高了越来越多的关注。因此，在部署之前全面地测试这些应用的公平性是至关重要的。现有的公平测试方法遭受以下限制：1）适用性，即它们仅适用于结构化数据或文本，而无需处理图像分类应用的语义水平中的高维和抽象域采样; 2）功能，即，它们在不提供测试标准的情况下产生不公平的样本，以表征模型的公平性充足。为了填补差距，我们提出了Deepfait，是专门为深图图像分类应用而设计的系统公平测试框架。 Deepfait由几种重要组成部分组成，实现了对深度图像分类应用的有效公平测试的重要组成部分：1）神经元选择策略，用于识别与公平相关神经元的神经元; 2）一组多粒度充足度指标，以评估模型的公平性; 3）测试选择算法有效地修复公平问题。我们对广泛采用的大型面部识别应用，即VGGFace和Fairface进行了实验。实验结果证实，我们的方法可以有效地识别公平相关的神经元，表征模型的公平性，并选择最有价值的测试用例来减轻模型的公平问题。