神经形态的神经网络处理器，以记忆中的计算横杆阵列的形式，或以亚阈值模拟和混合信号ASIC的形式，有望在基于NN的ML任务的计算密度和能源效率方面具有巨大优势。但是，由于过程变化和内在的设备物理学，这些技术容易出现计算非理想性。通过将参数噪声引入部署模型中，这会降低部署到处理器的网络的任务性能。虽然可以为每个处理器校准每个设备或单独训练网络，但这些方法对于商业部署而言是昂贵且不切实际的。因此，由于网络体系结构和参数的结果，需要替代方法来训练与参数变化固有强大的网络。我们提出了一种新的对抗网络优化算法，该算法在训练过程中攻击网络参数，并在参数变化时促进推断期间的稳健性能。我们的方法引入了正规化术语，惩罚网络对权重扰动的敏感性。我们将与先前产生参数不敏感的方法进行比较，例如辍学，体重平滑和训练过程中引入参数噪声。我们表明，我们的方法产生的模型对目标参数变化更强大，并且对随机参数变化同样强大。与其他方法相比，我们的方法在减肥景观的平坦位置中发现了最小值，这强调了我们技术发现的网络对参数扰动不太敏感。我们的工作提供了一种将神经网络体系结构部署到遭受计算非理想性的推理设备的方法，而性能的损失最少。 ...

使用动态视觉传感器的基于事件的感测是在低功耗视觉应用中获得牵引力。尖峰神经网络与基于事件的数据的稀疏性质良好，并在低功率神经胸壁上进行部署。作为一个新生的领域，尖刺神经网络到潜在恶意的对抗性攻击的敏感性迄今为止受到重视很少。在这项工作中，我们展示了白盒对抗攻击算法如何适应基于事件的视觉数据的离散和稀疏性，以及尖刺神经网络的连续时间设置。我们在N-Mnist和IBM手势上测试我们的方法神经胸视觉数据集，并显示对逆势扰动来实现高成功率，通过注入相对少量的适当放置的事件。我们还首次验证这些扰动的有效性直接对神经族硬件。最后，我们讨论了所产生的扰动和可能的未来方向的性质。

尖峰神经网络（SNN）是大脑中低功率，耐断层的信息处理的基础，并且在适当的神经形态硬件加速器上实施时，可能构成传统深层神经网络的能力替代品。但是，实例化解决复杂的计算任务的SNN在Silico中仍然是一个重大挑战。替代梯度（SG）技术已成为培训SNN端到端的标准解决方案。尽管如此，它们的成功取决于突触重量初始化，类似于常规的人工神经网络（ANN）。然而，与ANN不同，它仍然难以捉摸地构成SNN的良好初始状态。在这里，我们为受到大脑中通常观察到的波动驱动的策略启发的SNN制定了一般初始化策略。具体而言，我们为数据依赖性权重初始化提供了实用的解决方案，以确保广泛使用的泄漏的集成和传火（LIF）神经元的波动驱动。我们从经验上表明，经过SGS培训时，SNN遵循我们的策略表现出卓越的学习表现。这些发现概括了几个数据集和SNN体系结构，包括完全连接，深度卷积，经常性和更具生物学上合理的SNN遵守Dale的定律。因此，波动驱动的初始化提供了一种实用，多功能且易于实现的策略，可改善神经形态工程和计算神经科学的不同任务的SNN培训绩效。

本文介绍了独立的神经颂歌（Snode），这是一种连续深入的神经模型，能够描述完整的深神经网络。这使用了一种新型的非线性结合梯度（NCG）下降优化方案，用于训练，在该方案中可以合并Sobolev梯度以提高模型权重的平滑度。我们还提出了神经敏感性问题的一般表述，并显示了它在NCG训练中的使用方式。灵敏度分析提供了整个网络中不确定性传播的可靠度量，可用于研究模型鲁棒性并产生对抗性攻击。我们的评估表明，与Resnet模型相比，我们的新型配方会提高鲁棒性和性能，并且为设计和开发机器学习的新机会提供了改善的解释性。

IOT应用中的总是关于Tinyml的感知任务需要非常高的能量效率。模拟计算内存（CIM）使用非易失性存储器（NVM）承诺高效率，并提供自包含的片上模型存储。然而，模拟CIM推出了新的实际考虑因素，包括电导漂移，读/写噪声，固定的模数转换器增益等。必须解决这些附加约束，以实现可以通过可接受的模拟CIM部署的模型精度损失。这项工作描述了$ \ textit {analognets} $：tinyml模型用于关键字点（kws）和视觉唤醒词（VWW）的流行始终是on。模型架构专门为模拟CIM设计，我们详细介绍了一种全面的培训方法，以在推理时间内保持面对模拟非理想的精度和低精度数据转换器。我们还描述了AON-CIM，可编程，最小面积的相变存储器（PCM）模拟CIM加速器，具有新颖的层串行方法，以消除与完全流水线设计相关的复杂互连的成本。我们在校准的模拟器以及真正的硬件中评估了对校准模拟器的矛盾，并发现精度下降限制为KWS / VWW的PCM漂移（8位）24小时后的0.8 $ \％$ / 1.2 $ \％$。在14nm AON-CIM加速器上运行的analognets使用8位激活，分别使用8位激活，并增加到57.39 / 25.69个顶部/ w，以4美元$ 4 $ 57.39 / 25.69。

神经科学家和机器学习研究人员通常引用对抗的例子，作为计算模型如何从生物感官系统发散的示例。最近的工作已经提出将生物启发组件添加到视觉神经网络中，作为提高其对抗性鲁棒性的一种方式。一种令人惊讶的有效组分，用于减少对抗性脆弱性是响应随机性，例如由生物神经元呈现的响应性随机性。在这里，使用最近开发的从计算神经科学的几何技术，我们研究了对抗性扰动如何影响标准，前列培训和生物学启发的随机网络的内部表示。我们为每种类型的网络找到了不同的几何签名，揭示了实现稳健表示的不同机制。接下来，我们将这些结果概括为听觉域，表明神经插值性也使听觉模型对对抗对抗扰动更鲁棒。随机网络的几何分析揭示了清洁和离前动脉扰动刺激的表示之间的重叠，并且定量表现出随机性的竞争几何效果在对抗和清洁性能之间调解权衡。我们的结果阐明了通过对外内培训和随机网络利用的强大感知的策略，并帮助解释了随机性如何有利于机器和生物计算。

已知深度神经网络（DNN）容易受到用不可察觉的扰动制作的对抗性示例的影响，即，输入图像的微小变化会引起错误的分类，从而威胁着基于深度学习的部署系统的可靠性。经常采用对抗训练（AT）来通过训练损坏和干净的数据的混合物来提高DNN的鲁棒性。但是，大多数基于AT的方法在处理\ textit {转移的对抗示例}方面是无效的，这些方法是生成以欺骗各种防御模型的生成的，因此无法满足现实情况下提出的概括要求。此外，对抗性训练一般的国防模型不能对具有扰动的输入产生可解释的预测，而不同的领域专家则需要一个高度可解释的强大模型才能了解DNN的行为。在这项工作中，我们提出了一种基于Jacobian规范和选择性输入梯度正则化（J-SIGR）的方法，该方法通过Jacobian归一化提出了线性化的鲁棒性，还将基于扰动的显着性图正规化，以模仿模型的可解释预测。因此，我们既可以提高DNN的防御能力和高解释性。最后，我们评估了跨不同体系结构的方法，以针对强大的对抗性攻击。实验表明，提出的J-Sigr赋予了针对转移的对抗攻击的鲁棒性，我们还表明，来自神经网络的预测易于解释。

Adaptive attacks have (rightfully) become the de facto standard for evaluating defenses to adversarial examples. We find, however, that typical adaptive evaluations are incomplete. We demonstrate that thirteen defenses recently published at ICLR, ICML and NeurIPS-and which illustrate a diverse set of defense strategies-can be circumvented despite attempting to perform evaluations using adaptive attacks. While prior evaluation papers focused mainly on the end result-showing that a defense was ineffective-this paper focuses on laying out the methodology and the approach necessary to perform an adaptive attack. Some of our attack strategies are generalizable, but no single strategy would have been sufficient for all defenses. This underlines our key message that adaptive attacks cannot be automated and always require careful and appropriate tuning to a given defense. We hope that these analyses will serve as guidance on how to properly perform adaptive attacks against defenses to adversarial examples, and thus will allow the community to make further progress in building more robust models.

Spiking Neural networks (SNN) have emerged as an attractive spatio-temporal computing paradigm for a wide range of low-power vision tasks. However, state-of-the-art (SOTA) SNN models either incur multiple time steps which hinder their deployment in real-time use cases or increase the training complexity significantly. To mitigate this concern, we present a training framework (from scratch) for one-time-step SNNs that uses a novel variant of the recently proposed Hoyer regularizer. We estimate the threshold of each SNN layer as the Hoyer extremum of a clipped version of its activation map, where the clipping threshold is trained using gradient descent with our Hoyer regularizer. This approach not only downscales the value of the trainable threshold, thereby emitting a large number of spikes for weight update with a limited number of iterations (due to only one time step) but also shifts the membrane potential values away from the threshold, thereby mitigating the effect of noise that can degrade the SNN accuracy. Our approach outperforms existing spiking, binary, and adder neural networks in terms of the accuracy-FLOPs trade-off for complex image recognition tasks. Downstream experiments on object detection also demonstrate the efficacy of our approach.

深度学习是高能物理学领域的标准工具，可促进许多分析策略的敏感性增强。特别是，在识别物理对象（例如喷气味标记）时，复杂的神经网络体系结构起着重要作用。但是，这些方法依赖于准确的模拟。不隔材料会导致需要测量和校准的数据的性能差异不可忽略。我们研究了对输入数据的分类器响应，并通过应用对抗性攻击来探测风味标记算法的脆弱性。随后，我们提出了一种对抗性训练策略，以减轻这种模拟攻击的影响并改善分类器的鲁棒性。我们研究了性能与脆弱性之间的关系，并表明该方法构成了一种有希望的方法，可以减少对差建模的脆弱性。

Post-hoc explanation methods are used with the intent of providing insights about neural networks and are sometimes said to help engender trust in their outputs. However, popular explanations methods have been found to be fragile to minor perturbations of input features or model parameters. Relying on constraint relaxation techniques from non-convex optimization, we develop a method that upper-bounds the largest change an adversary can make to a gradient-based explanation via bounded manipulation of either the input features or model parameters. By propagating a compact input or parameter set as symbolic intervals through the forwards and backwards computations of the neural network we can formally certify the robustness of gradient-based explanations. Our bounds are differentiable, hence we can incorporate provable explanation robustness into neural network training. Empirically, our method surpasses the robustness provided by previous heuristic approaches. We find that our training method is the only method able to learn neural networks with certificates of explanation robustness across all six datasets tested.

差异隐私（DP）提供了正式的隐私保证，以防止对手可以访问机器学习模型，从而从提取有关单个培训点的信息。最受欢迎的DP训练方法是差异私有随机梯度下降（DP-SGD），它通过在训练过程中注入噪声来实现这种保护。然而，以前的工作发现，DP-SGD通常会导致标准图像分类基准的性能显着降解。此外，一些作者假设DP-SGD在大型模型上固有地表现不佳，因为保留隐私所需的噪声规范与模型维度成正比。相反，我们证明了过度参数化模型上的DP-SGD可以比以前想象的要好得多。将仔细的超参数调整与简单技术结合起来，以确保信号传播并提高收敛速率，我们获得了新的SOTA，而没有额外数据的CIFAR-10，在81.4％的81.4％下（8，10^{ - 5}） - 使用40 -layer wide-Resnet，比以前的SOTA提高了71.7％。当对预训练的NFNET-F3进行微调时，我们在ImageNet（0.5，8*10^{ - 7}）下达到了83.8％的TOP-1精度。此外，我们还在（8，8 \ cdot 10^{ - 7}）下达到了86.7％的TOP-1精度，DP仅比当前的非私人SOTA仅4.3％。我们认为，我们的结果是缩小私人图像分类和非私有图像分类之间准确性差距的重要一步。

Adversarial training has been empirically shown to be more prone to overfitting than standard training. The exact underlying reasons still need to be fully understood. In this paper, we identify one cause of overfitting related to current practices of generating adversarial samples from misclassified samples. To address this, we propose an alternative approach that leverages the misclassified samples to mitigate the overfitting problem. We show that our approach achieves better generalization while having comparable robustness to state-of-the-art adversarial training methods on a wide range of computer vision, natural language processing, and tabular tasks.

随机平滑是目前是最先进的方法，用于构建来自Neural Networks的可认真稳健的分类器，以防止$ \ ell_2 $ - vitersarial扰动。在范例下，分类器的稳健性与预测置信度对齐，即，对平滑分类器的较高的置信性意味着更好的鲁棒性。这使我们能够在校准平滑分类器的信仰方面重新思考准确性和鲁棒性之间的基本权衡。在本文中，我们提出了一种简单的训练方案，Coined Spiremix，通过自我混合来控制平滑分类器的鲁棒性：它沿着每个输入对逆势扰动方向进行样品的凸起组合。该提出的程序有效地识别过度自信，在平滑分类器的情况下，作为有限的稳健性的原因，并提供了一种直观的方法来自适应地在这些样本之间设置新的决策边界，以实现更好的鲁棒性。我们的实验结果表明，与现有的最先进的强大培训方法相比，该方法可以显着提高平滑分类器的认证$ \ ell_2 $ -toSpustness。

现代神经网络Excel在图像分类中，但它们仍然容易受到常见图像损坏，如模糊，斑点噪音或雾。最近的方法关注这个问题，例如Augmix和Deepaulment，引入了在预期运行的防御，以期望图像损坏分布。相比之下，$ \ ell_p $ -norm界限扰动的文献侧重于针对最坏情况损坏的防御。在这项工作中，我们通过提出防范内人来调和两种方法，这是一种优化图像到图像模型的参数来产生对外损坏的增强图像的技术。我们理论上激发了我们的方法，并为其理想化版本的一致性以及大纲领提供了足够的条件。我们的分类机器在预期对CiFar-10-C进行的常见图像腐败基准上提高了最先进的，并改善了CIFAR-10和ImageNet上的$ \ ell_p $ -norm有界扰动的最坏情况性能。

Adversarial training is widely used to improve the robustness of deep neural networks to adversarial attack. However, adversarial training is prone to overfitting, and the cause is far from clear. This work sheds light on the mechanisms underlying overfitting through analyzing the loss landscape w.r.t. the input. We find that robust overfitting results from standard training, specifically the minimization of the clean loss, and can be mitigated by regularization of the loss gradients. Moreover, we find that robust overfitting turns severer during adversarial training partially because the gradient regularization effect of adversarial training becomes weaker due to the increase in the loss landscapes curvature. To improve robust generalization, we propose a new regularizer to smooth the loss landscape by penalizing the weighted logits variation along the adversarial direction. Our method significantly mitigates robust overfitting and achieves the highest robustness and efficiency compared to similar previous methods. Code is available at https://github.com/TreeLLi/Combating-RO-AdvLC.

HEBBIAN在获奖者全方位（WTA）网络中的可塑性对于神经形态的片上学习非常有吸引力，这是由于其高效，本地，无监督和在线性质。此外，它的生物学合理性可能有助于克服人工算法的重要局限性，例如它们对对抗攻击和长期训练时间的敏感性。但是，Hebbian WTA学习在机器学习（ML）中很少使用，这可能是因为它缺少与深度学习兼容的优化理论（DL）。在这里，我们严格地表明，由标准DL元素构建的WTA网络与我们得出的Hebbian样可塑性结合在一起，维持数据的贝叶斯生成模型。重要的是，在没有任何监督的情况下，我们的算法，SOFTHEBB，可以最大程度地减少跨渗透性，即监督DL中的共同损失函数。我们在理论上和实践中展示了这一点。关键是“软” WTA，那里没有绝对的“硬”赢家神经元。令人惊讶的是，在浅网络比较与背面的比较（BP）中，SOFTHEBB表现出超出其HEBBIAN效率的优势。也就是说，它的收敛速度更快，并且对噪声和对抗性攻击更加强大。值得注意的是，最大程度地混淆SoftheBB的攻击也使人眼睛混淆，可能将人类感知的鲁棒性与Hebbian WTA Cortects联系在一起。最后，SOFTHEBB可以将合成对象作为真实对象类的插值生成。总而言之，Hebbian效率，理论的基础，跨透明拷贝最小化以及令人惊讶的经验优势，表明SOFTHEBB可能会激发高度神经态和彻底不同，但实用且有利的学习算法和硬件加速器。

Adversarial training, a method for learning robust deep networks, is typically assumed to be more expensive than traditional training due to the necessity of constructing adversarial examples via a first-order method like projected gradient decent (PGD). In this paper, we make the surprising discovery that it is possible to train empirically robust models using a much weaker and cheaper adversary, an approach that was previously believed to be ineffective, rendering the method no more costly than standard training in practice. Specifically, we show that adversarial training with the fast gradient sign method (FGSM), when combined with random initialization, is as effective as PGD-based training but has significantly lower cost. Furthermore we show that FGSM adversarial training can be further accelerated by using standard techniques for efficient training of deep networks, allowing us to learn a robust CIFAR10 classifier with 45% robust accuracy to PGD attacks with = 8/255 in 6 minutes, and a robust ImageNet classifier with 43% robust accuracy at = 2/255 in 12 hours, in comparison to past work based on "free" adversarial training which took 10 and 50 hours to reach the same respective thresholds. Finally, we identify a failure mode referred to as "catastrophic overfitting" which may have caused previous attempts to use FGSM adversarial training to fail. All code for reproducing the experiments in this paper as well as pretrained model weights are at https://github.com/locuslab/fast_adversarial.

这项研究提出了依赖电压突触可塑性（VDSP），这是一种新型的脑启发的无监督的本地学习规则，用于在线实施HEBB对神经形态硬件的可塑性机制。拟议的VDSP学习规则仅更新了突触后神经元的尖峰的突触电导，这使得相对于标准峰值依赖性可塑性（STDP）的更新数量减少了两倍。此更新取决于突触前神经元的膜电位，该神经元很容易作为神经元实现的一部分，因此不需要额外的存储器来存储。此外，该更新还对突触重量进行了正规化，并防止重复刺激时的重量爆炸或消失。进行严格的数学分析以在VDSP和STDP之间达到等效性。为了验证VDSP的系统级性能，我们训练一个单层尖峰神经网络（SNN），以识别手写数字。我们报告85.01 $ \ pm $ 0.76％（平均$ \ pm $ s.d。）对于MNIST数据集中的100个输出神经元网络的精度。在缩放网络大小时，性能会提高（400个输出神经元的89.93 $ \ pm $ 0.41％，500个神经元为90.56 $ \ pm $ 0.27），这验证了大规模计算机视觉任务的拟议学习规则的适用性。有趣的是，学习规则比STDP更好地适应输入信号的频率，并且不需要对超参数进行手动调整。

Recent work has demonstrated that deep neural networks are vulnerable to adversarial examples-inputs that are almost indistinguishable from natural data and yet classified incorrectly by the network. In fact, some of the latest findings suggest that the existence of adversarial attacks may be an inherent weakness of deep learning models. To address this problem, we study the adversarial robustness of neural networks through the lens of robust optimization. This approach provides us with a broad and unifying view on much of the prior work on this topic. Its principled nature also enables us to identify methods for both training and attacking neural networks that are reliable and, in a certain sense, universal. In particular, they specify a concrete security guarantee that would protect against any adversary. These methods let us train networks with significantly improved resistance to a wide range of adversarial attacks. They also suggest the notion of security against a first-order adversary as a natural and broad security guarantee. We believe that robustness against such well-defined classes of adversaries is an important stepping stone towards fully resistant deep learning models. 1