虽然深馈神经网络与灵长类动物视觉系统共享一些特征，但一个关键区别是他们的动态。深网络通常在串行阶段操作，其中每个层在处理开始于后续层之前完成其计算。相反，生物系统具有级联动力学：信息从所有层的神经元并行地传播，但是逐渐发生变速器，即使在馈送架构中也逐渐发生速度准确性贸易。我们通过构造级联的RESNET来探讨生物学激活的并行硬件的后果，其中每个残差块具有传播延迟，但所有块以状态方式更新。由于通过跳过连接传输的信息避免了延迟，所以架构的功能深度随着时间的推移而增加，因此随时通过内部处理时间来改善的任何时间预测。我们介绍了一个时间差异的培训损失，通过标准损耗实现了严格卓越的速度准确性概况，并使级联架构能够以最先进的任何时间预测方法。级联体系结构具有迷恋属性，包括：它比非典型实例更快地分类典型实例;对于持久性和瞬态噪声比传统的reset来说更强大;其时变输出跟踪提供了一种可以利用以改善信息处理和推理的信号。

减少大深度学习模型的处理时间的问题是许多现实世界应用中的根本挑战。早期退出方法通过将附加内部分类器（IC）附加到神经网络的中间层来努力实现这一目标。 IC可以快速返回简单示例的预测，结果，降低整个模型的平均推理时间。但是，如果特定IC不决定早期回答，则其预测被丢弃，其计算有效地浪费。为了解决这个问题，我们引入零时间浪费（ZTW），这是一种新的方法，其中每个IC重用由其前辈返回的预测（1）在IC和（2）之间以相对于类似的方式组合先前输出之间的直接连接。我们对各个数据集和架构进行了广泛的实验，以证明ZTW实现了比最近提出的早期退出方法的其他更好的比例与推理时间权衡。

阅读和驾驶等日常任务的核心是主动对象识别。目前无法合并时间来阻碍建模此类任务的尝试。人们在速度和准确性之间表现出灵活的权衡，而这种权衡是至关重要的人类技能。深层神经网络已成为预测人类对象识别峰值和神经活动的有前途的候选人。但是，建模时间维度，即速度准确性权衡（SAT），对于它们作为人类如何识别对象的有用计算模型至关重要。为此，我们在这里介绍了第一个大规模（148个观察者，4个神经网络，8个任务）数据集，该数据集是识别Imagenet图像时速度准确性折衷（SAT）。在每个人类试验中，哔哔声表示所需的反应时间，在显示图像后以固定的延迟发出声音，并且观察者的响应仅在哔哔声附近发生时才计算。在一系列块中，我们测试了许多蜂鸣延迟，即反应时间。我们观察到人类的准确性随反应时间的增加而增加，并继续将其特征与能够推理时间自适应计算的几个动态神经网络的行为进行比较。我们将FLOPS作为反应时间的模拟，我们将网络与人类在曲线拟合误差，类别相关性和曲线陡度中进行比较，并得出结论，级联的动态神经网络是对象识别任务中人类反应时间的有希望的模型。

背景信息：在过去几年中，机器学习（ML）一直是许多创新的核心。然而，包括在所谓的“安全关键”系统中，例如汽车或航空的系统已经被证明是非常具有挑战性的，因为ML的范式转变为ML带来完全改变传统认证方法。目的：本文旨在阐明与ML为基础的安全关键系统认证有关的挑战，以及文献中提出的解决方案，以解决它们，回答问题的问题如何证明基于机器学习的安全关键系统？'方法：我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述（SLR），涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题，被认为是ML认证的主要支柱：鲁棒性，不确定性，解释性，验证，安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题，并提取了提取的论文的总结。结果：单反结果突出了社区对该主题的热情，以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系，以加深域名研究。最后，它还说明了必须在上面提到的主要支柱之间建立连接的必要性，这些主要柱主要主要研究。结论：我们强调了目前部署的努力，以实现ML基于ML的软件系统，并讨论了一些未来的研究方向。

Accurate uncertainty quantification is a major challenge in deep learning, as neural networks can make overconfident errors and assign high confidence predictions to out-of-distribution (OOD) inputs. The most popular approaches to estimate predictive uncertainty in deep learning are methods that combine predictions from multiple neural networks, such as Bayesian neural networks (BNNs) and deep ensembles. However their practicality in real-time, industrial-scale applications are limited due to the high memory and computational cost. Furthermore, ensembles and BNNs do not necessarily fix all the issues with the underlying member networks. In this work, we study principled approaches to improve uncertainty property of a single network, based on a single, deterministic representation. By formalizing the uncertainty quantification as a minimax learning problem, we first identify distance awareness, i.e., the model's ability to quantify the distance of a testing example from the training data, as a necessary condition for a DNN to achieve high-quality (i.e., minimax optimal) uncertainty estimation. We then propose Spectral-normalized Neural Gaussian Process (SNGP), a simple method that improves the distance-awareness ability of modern DNNs with two simple changes: (1) applying spectral normalization to hidden weights to enforce bi-Lipschitz smoothness in representations and (2) replacing the last output layer with a Gaussian process layer. On a suite of vision and language understanding benchmarks, SNGP outperforms other single-model approaches in prediction, calibration and out-of-domain detection. Furthermore, SNGP provides complementary benefits to popular techniques such as deep ensembles and data augmentation, making it a simple and scalable building block for probabilistic deep learning. Code is open-sourced at https://github.com/google/uncertainty-baselines

The choice of activation functions and their motivation is a long-standing issue within the neural network community. Neuronal representations within artificial neural networks are commonly understood as logits, representing the log-odds score of presence of features within the stimulus. We derive logit-space operators equivalent to probabilistic Boolean logic-gates AND, OR, and XNOR for independent probabilities. Such theories are important to formalize more complex dendritic operations in real neurons, and these operations can be used as activation functions within a neural network, introducing probabilistic Boolean-logic as the core operation of the neural network. Since these functions involve taking multiple exponents and logarithms, they are computationally expensive and not well suited to be directly used within neural networks. Consequently, we construct efficient approximations named $\text{AND}_\text{AIL}$ (the AND operator Approximate for Independent Logits), $\text{OR}_\text{AIL}$, and $\text{XNOR}_\text{AIL}$, which utilize only comparison and addition operations, have well-behaved gradients, and can be deployed as activation functions in neural networks. Like MaxOut, $\text{AND}_\text{AIL}$ and $\text{OR}_\text{AIL}$ are generalizations of ReLU to two-dimensions. While our primary aim is to formalize dendritic computations within a logit-space probabilistic-Boolean framework, we deploy these new activation functions, both in isolation and in conjunction to demonstrate their effectiveness on a variety of tasks including image classification, transfer learning, abstract reasoning, and compositional zero-shot learning.

在本文中，我们在神经网络的决策过程中提倡两个阶段。首先是现有的进纸推理框架，其中感知给定数据中的模式并与先前学习的模式相关联。第二阶段是一个较慢的反射阶段，我们要求网络通过考虑和评估所有可用选择来反思其前馈决策。一起，我们将这两个阶段称为内省学习。我们使用训练有素的神经网络的梯度来测量这种反射。简单的三层多层感知器被用作基于所有提取梯度特征预测的第二阶段。我们感知地从两个阶段可视化事后解释，以提供内省的视觉接地。对于识别的应用，我们表明内省网络在推广到噪声数据时，内省网络的稳健性更高，容易校准错误的42％。我们还说明了内省网络在下游任务中的价值，这些任务需要普遍性和校准，包括主动学习，分布外检测和不确定性估计。最后，我们将提议的机器内省为人类内省，以应用图像质量评估。

在值得信赖的机器学习中，这是一个重要的问题，可以识别与分配任务无关的输入的分布（OOD）输入。近年来，已经提出了许多分布式检测方法。本文的目的是识别共同的目标以及确定不同OOD检测方法的隐式评分函数。我们专注于在培训期间使用替代OOD数据的方法，以学习在测试时概括为新的未见外部分布的OOD检测分数。我们表明，内部和（不同）外部分布之间的二元歧视等同于OOD检测问题的几种不同的公式。当与标准分类器以共同的方式接受培训时，该二进制判别器达到了类似于离群暴露的OOD检测性能。此外，我们表明，异常暴露所使用的置信损失具有隐式评分函数，在训练和测试外部分配相同的情况下，以非平凡的方式与理论上最佳评分功能有所不同，这又是类似于训练基于能量的OOD检测器或添加背景类时使用的一种。在实践中，当以完全相同的方式培训时，所有这些方法的性能类似。

The spectacular successes of recurrent neural network models where key parameters are adjusted via backpropagation-based gradient descent have inspired much thought as to how biological neuronal networks might solve the corresponding synaptic credit assignment problem. There is so far little agreement, however, as to how biological networks could implement the necessary backpropagation through time, given widely recognized constraints of biological synaptic network signaling architectures. Here, we propose that extra-synaptic diffusion of local neuromodulators such as neuropeptides may afford an effective mode of backpropagation lying within the bounds of biological plausibility. Going beyond existing temporal truncation-based gradient approximations, our approximate gradient-based update rule, ModProp, propagates credit information through arbitrary time steps. ModProp suggests that modulatory signals can act on receiving cells by convolving their eligibility traces via causal, time-invariant and synapse-type-specific filter taps. Our mathematical analysis of ModProp learning, together with simulation results on benchmark temporal tasks, demonstrate the advantage of ModProp over existing biologically-plausible temporal credit assignment rules. These results suggest a potential neuronal mechanism for signaling credit information related to recurrent interactions over a longer time horizon. Finally, we derive an in-silico implementation of ModProp that could serve as a low-complexity and causal alternative to backpropagation through time.

机器学习模型通常会遇到与训练分布不同的样本。无法识别分布（OOD）样本，因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性，该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性，检测OOD样品是具有挑战性的。迄今为止，一些研究领域解决了检测陌生样本的问题，包括异常检测，新颖性检测，一级学习，开放式识别识别和分布外检测。尽管有相似和共同的概念，但分别分布，开放式检测和异常检测已被独立研究。因此，这些研究途径尚未交叉授粉，创造了研究障碍。尽管某些调查打算概述这些方法，但它们似乎仅关注特定领域，而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时，对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益，并协同发展未来的方法。此外，据我们所知，虽然进行异常检测或单级学习进行了调查，但没有关于分布外检测的全面或最新的调查，我们的调查可广泛涵盖。最后，有了统一的跨域视角，我们讨论并阐明了未来的研究线，打算将这些领域更加紧密地融为一体。

预测性编码提供了对皮质功能的潜在统一说明 - 假设大脑的核心功能是最小化有关世界生成模型的预测错误。该理论与贝叶斯大脑框架密切相关，在过去的二十年中，在理论和认知神经科学领域都产生了重大影响。基于经验测试的预测编码的改进和扩展的理论和数学模型，以及评估其在大脑中实施的潜在生物学合理性以及该理论所做的具体神经生理学和心理学预测。尽管存在这种持久的知名度，但仍未对预测编码理论，尤其是该领域的最新发展进行全面回顾。在这里，我们提供了核心数学结构和预测编码的逻辑的全面综述，从而补充了文献中最新的教程。我们还回顾了该框架中的各种经典和最新工作，从可以实施预测性编码的神经生物学现实的微电路到预测性编码和广泛使用的错误算法的重新传播之间的紧密关系，以及对近距离的调查。预测性编码和现代机器学习技术之间的关系。

Deep neural networks (DNNs) are currently widely used for many artificial intelligence (AI) applications including computer vision, speech recognition, and robotics. While DNNs deliver state-of-the-art accuracy on many AI tasks, it comes at the cost of high computational complexity. Accordingly, techniques that enable efficient processing of DNNs to improve energy efficiency and throughput without sacrificing application accuracy or increasing hardware cost are critical to the wide deployment of DNNs in AI systems.This article aims to provide a comprehensive tutorial and survey about the recent advances towards the goal of enabling efficient processing of DNNs. Specifically, it will provide an overview of DNNs, discuss various hardware platforms and architectures that support DNNs, and highlight key trends in reducing the computation cost of DNNs either solely via hardware design changes or via joint hardware design and DNN algorithm changes. It will also summarize various development resources that enable researchers and practitioners to quickly get started in this field, and highlight important benchmarking metrics and design considerations that should be used for evaluating the rapidly growing number of DNN hardware designs, optionally including algorithmic co-designs, being proposed in academia and industry.The reader will take away the following concepts from this article: understand the key design considerations for DNNs; be able to evaluate different DNN hardware implementations with benchmarks and comparison metrics; understand the trade-offs between various hardware architectures and platforms; be able to evaluate the utility of various DNN design techniques for efficient processing; and understand recent implementation trends and opportunities.

深度神经网络在图像分类中Excel Excel，但它们对输入扰动的性能比人类感知更强。在这项工作中，我们可以通过在深卷积网络中纳入脑激发的经常性动态来探讨此缺点是否可以部分地解决。我们从神经科学的一个受欢迎的框架中获取灵感：“预测编码”。在分层模型的每层，生成反馈'预测'（即，重建）前一层中的活动模式。重建错误用于迭代地更新时间间隔内的网络的表示，并通过自然图像数据集来优化网络的反馈权重 - 一种无监督的培训形式。我们展示将此策略实施到两个流行的网络中，VGG16和高效网络，从而提高了对各种损坏和对抗的攻击的鲁棒性。我们假设其他前馈网络可以类似地受益于所提出的框架。为了在这种方向上促进研究，我们提供称为PRIGEIFY的基于开放的Pytorch的包，其可用于实施和研究预测编码动态在任何卷积神经网络中的影响。

我们介绍了几个新的数据集即想象的A / O和Imagenet-R以及合成环境和测试套件，我们称为CAOS。 Imagenet-A / O允许研究人员专注于想象成剩余的盲点。由于追踪稳健的表示，以特殊创建了ImageNet-R，因为表示不再简单地自然，而是包括艺术和其他演绎。 Caos Suite由Carla Simulator构建，允许包含异常物体，可以创建可重复的合成环境和用于测试稳健性的场景。所有数据集都是为测试鲁棒性和衡量鲁棒性的衡量进展而创建的。数据集已用于各种其他作品中，以衡量其具有鲁棒性的自身进步，并允许切向进展，这些进展不会完全关注自然准确性。鉴于这些数据集，我们创建了几种旨在推进鲁棒性研究的新方法。我们以最大Logit的形式和典型程度的形式构建简单的基线，并以深度的形式创建新的数据增强方法，从而提高上述基准。最大Logit考虑Logit值而不是SoftMax操作后的值，而微小的变化会产生明显的改进。典型程分将输出分布与类的后部分布进行比较。我们表明，除了分段任务之外，这将提高对基线的性能。猜测可能在像素级别，像素的语义信息比类级信息的语义信息不太有意义。最后，新的Deepaulment的新增强技术利用神经网络在彻底不同于先前使用的传统几何和相机的转换的图像上创建增强。

We introduce Bootstrap Your Own Latent (BYOL), a new approach to self-supervised image representation learning. BYOL relies on two neural networks, referred to as online and target networks, that interact and learn from each other. From an augmented view of an image, we train the online network to predict the target network representation of the same image under a different augmented view. At the same time, we update the target network with a slow-moving average of the online network. While state-of-the art methods rely on negative pairs, BYOL achieves a new state of the art without them. BYOL reaches 74.3% top-1 classification accuracy on ImageNet using a linear evaluation with a ResNet-50 architecture and 79.6% with a larger ResNet. We show that BYOL performs on par or better than the current state of the art on both transfer and semi-supervised benchmarks. Our implementation and pretrained models are given on GitHub. 3 * Equal contribution; the order of first authors was randomly selected.

背景。通常，深度神经网络（DNN）概括了从类似于训练集的分布的样本概括。然而，当测试样本从不同的分布中抽出时，DNNS的预测是脆性和不可靠的。这是在现实世界应用中部署的主要关注点，这种行为可能以相当大的成本，例如工业生产线，自治车辆或医疗保健应用。贡献。我们将DNN中的分布（OOD）检测出来作为统计假设检测问题。在我们所提出的框架内产生的测试将证据组合来自整个网络。与以前的检测启发式不同，此框架返回每个测试样本的$ p $ -value。有保证维护I型错误（T1E - 错误地识别OOD样本为ID）进行测试数据。此外，这允许在保持T1E的同时组合多个检测器。在此框架上建立，我们建议一种基于低阶统计数据的新型程序。我们的方法在不接受的EOD基准上的最新方法实现了比较或更好的结果，而无需再培训网络参数或假设测试分配的现有知识 - 并且以计算成本的一小部分。

已知现代深度神经网络模型将错误地将分布式（OOD）测试数据分类为具有很高信心的分数（ID）培训课程之一。这可能会对关键安全应用产生灾难性的后果。一种流行的缓解策略是训练单独的分类器，该分类器可以在测试时间检测此类OOD样本。在大多数实际设置中，在火车时间尚不清楚OOD的示例，因此，一个关键问题是：如何使用合成OOD样品来增加ID数据以训练这样的OOD检测器？在本文中，我们为称为CNC的OOD数据增强提出了一种新颖的复合腐败技术。 CNC的主要优点之一是，除了培训集外，它不需要任何固定数据。此外，与当前的最新技术（SOTA）技术不同，CNC不需要在测试时间进行反向传播或结合，从而使我们的方法在推断时更快。我们与过去4年中主要会议的20种方法进行了广泛的比较，表明，在OOD检测准确性和推理时间方面，使用基于CNC的数据增强训练的模型都胜过SOTA。我们包括详细的事后分析，以研究我们方法成功的原因，并确定CNC样本的较高相对熵和多样性是可能的原因。我们还通过对二维数据集进行零件分解分析提供理论见解，以揭示（视觉和定量），我们的方法导致ID类别周围的边界更紧密，从而更好地检测了OOD样品。源代码链接：https：//github.com/cnc-ood

自我监督的学习允许AI系统使用不需要昂贵的标签的任务从大量数据中学习有效表示。模式崩溃，即为所有输入产生相同表示形式的模型，是许多自我监督学习方法的核心问题，可以使自我监督任务（例如匹配输入的变形变体）无效。在本文中，我们认为，同一输入的替代潜在表示之间信息最大化的直接应用自然解决了崩溃问题并实现了竞争性的经验结果。我们提出了一种自我监督的学习方法Corinfomax，该方法使用了基于二阶统计的共同信息度量，以反映其参数之间的相关性水平。在同一输入的替代表示之间最大化此相关信息度量有两个目的：（1）它通过生成具有非脱位协方差的特征向量来避免崩溃问题； （2）通过增加它们之间的线性依赖性，它在替代表示之间建立了相关性。提出的信息最大化客观的近似简化为基于欧几里得距离的目标函数，该目标函数由特征协方差矩阵的对数确定因素正规化。正则术语是针对特征空间退化的自然障碍。因此，除了避免完全输出崩溃到一个点外，提出的方法还通过鼓励信息在整个特征空间中的传播来防止尺寸崩溃。数值实验表明，相对于最先进的SSL方法，Corinfomax取得更好或竞争性的性能结果。

以前的工作提出了许多新的损失函数和常规程序，可提高图像分类任务的测试准确性。但是，目前尚不清楚这些损失函数是否了解下游任务的更好表示。本文研究了培训目标的选择如何影响卷积神经网络隐藏表示的可转移性，训练在想象中。我们展示了许多目标在Vanilla Softmax交叉熵上导致想象的精度有统计学意义的改进，但由此产生的固定特征提取器转移到下游任务基本较差，并且当网络完全微调时，损失的选择几乎没有效果新任务。使用居中内核对齐来测量网络隐藏表示之间的相似性，我们发现损失函数之间的差异仅在网络的最后几层中都很明显。我们深入了解倒数第二层的陈述，发现不同的目标和近奇计的组合导致大幅不同的类别分离。具有较高类别分离的表示可以在原始任务上获得更高的准确性，但它们的功能对于下游任务不太有用。我们的结果表明，用于原始任务的学习不变功能与传输任务相关的功能之间存在权衡。

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。