HEBBIAN在获奖者全方位（WTA）网络中的可塑性对于神经形态的片上学习非常有吸引力，这是由于其高效，本地，无监督和在线性质。此外，它的生物学合理性可能有助于克服人工算法的重要局限性，例如它们对对抗攻击和长期训练时间的敏感性。但是，Hebbian WTA学习在机器学习（ML）中很少使用，这可能是因为它缺少与深度学习兼容的优化理论（DL）。在这里，我们严格地表明，由标准DL元素构建的WTA网络与我们得出的Hebbian样可塑性结合在一起，维持数据的贝叶斯生成模型。重要的是，在没有任何监督的情况下，我们的算法，SOFTHEBB，可以最大程度地减少跨渗透性，即监督DL中的共同损失函数。我们在理论上和实践中展示了这一点。关键是“软” WTA，那里没有绝对的“硬”赢家神经元。令人惊讶的是，在浅网络比较与背面的比较（BP）中，SOFTHEBB表现出超出其HEBBIAN效率的优势。也就是说，它的收敛速度更快，并且对噪声和对抗性攻击更加强大。值得注意的是，最大程度地混淆SoftheBB的攻击也使人眼睛混淆，可能将人类感知的鲁棒性与Hebbian WTA Cortects联系在一起。最后，SOFTHEBB可以将合成对象作为真实对象类的插值生成。总而言之，Hebbian效率，理论的基础，跨透明拷贝最小化以及令人惊讶的经验优势，表明SOFTHEBB可能会激发高度神经态和彻底不同，但实用且有利的学习算法和硬件加速器。

最近对反向传播的近似（BP）减轻了BP的许多计算效率低下和与生物学的不兼容性，但仍然存在重要的局限性。此外，近似值显着降低了基准的准确性，这表明完全不同的方法可能更富有成果。在这里，基于在软冠军全网络中Hebbian学习的最新理论基础上，我们介绍了多层softhebb，即一种训练深神经网络的算法，没有任何反馈，目标或错误信号。结果，它通过避免重量传输，非本地可塑性，层更新的时间锁定，迭代平衡以及（自我）监督或其他反馈信号来实现效率，这在其他方法中是必不可少的。与最先进的生物学知识学习相比，它提高的效率和生物兼容性不能取得准确性的折衷，而是改善了准确性。 MNIST，CIFAR-10，STL-10和IMAGENET上最多五个隐藏层和添加的线性分类器，分别达到99.4％，80.3％，76.2％和27.3％。总之，SOFTHEBB显示出与BP的截然不同的方法，即对几层的深度学习在大脑中可能是合理的，并提高了生物学上的机器学习的准确性。

预测性编码提供了对皮质功能的潜在统一说明 - 假设大脑的核心功能是最小化有关世界生成模型的预测错误。该理论与贝叶斯大脑框架密切相关，在过去的二十年中，在理论和认知神经科学领域都产生了重大影响。基于经验测试的预测编码的改进和扩展的理论和数学模型，以及评估其在大脑中实施的潜在生物学合理性以及该理论所做的具体神经生理学和心理学预测。尽管存在这种持久的知名度，但仍未对预测编码理论，尤其是该领域的最新发展进行全面回顾。在这里，我们提供了核心数学结构和预测编码的逻辑的全面综述，从而补充了文献中最新的教程。我们还回顾了该框架中的各种经典和最新工作，从可以实施预测性编码的神经生物学现实的微电路到预测性编码和广泛使用的错误算法的重新传播之间的紧密关系，以及对近距离的调查。预测性编码和现代机器学习技术之间的关系。

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

预测性编码（PC）是计算神经科学中的有影响力的理论，它认为皮层通过实施层次结构的预测误差最小化过程来形成无监督的世界模型。 PC网络（PCN）分为两个阶段。首先，更新神经活动以优化网络对外部刺激的反应。其次，更新突触权重以整合活动中的这种变化 - 一种称为\ emph {前瞻性配置}的算法。虽然先前的工作已经显示了如何在各种限制下发现近似倒流（BP），但最近的工作表明，在该标准制度中运行的PCN不近似BP，但仍获得了竞争性培训和广泛性培训，以进行BP训练。网络在诸如在线，几乎没有射击和持续学习之类的任务上的网络效果超过了它们，在该任务中，大脑擅长于大脑。尽管这种有希望的经验表现，但理论上对PCN的性质和动力学在该制度中的理解很少。在本文中，我们对经过预期配置训练的PCN的性质进行了全面的理论分析。我们首先得出有关PCN的推理平衡以及与目标传播（TP）的紧密联系关系的分析结果。其次，我们提供了PCN中学习的理论分析，作为广义期望最大化的变体，并使用它来证明PCN与BP损耗函数的关键点的收敛性，从而表明，从理论上讲，深色PCN可以实现相同的实现。作为BP的概括性能，同时保持其独特的优势。

驱动深度学习成功的反向传播很可能与大脑的学习机制不同。在本文中，我们制定了一项受生物学启发的学习规则，该规则在HEBB著名的建议的想法之后，发现了当地竞争的特征。已经证明，该本地学习规则所学的无监督功能可以作为培训模型，以提高某些监督学习任务的绩效。更重要的是，该本地学习规则使我们能够构建一个与返回传播完全不同的新学习范式，该范式命名为激活学习，其中神经网络的输出激活大致衡量了输入模式的可能性。激活学习能够从几乎没有输入模式的几镜头中学习丰富的本地特征，并且当训练样本的数量相对较小时，比反向传播算法表现出明显更好的性能。这种学习范式统一了无监督的学习，监督的学习和生成模型，并且更安全地抵抗对抗性攻击，为建立一般任务神经网络的某些可能性铺平了道路。

平衡系统是表达神经计算的有力方法。作为特殊情况，它们包括对神经科学和机器学习的最新兴趣模型，例如平衡复发性神经网络，深度平衡模型或元学习。在这里，我们提出了一个新的原则，用于学习具有时间和空间本地规则的此类系统。我们的原理将学习作为一个最不控制的问题，我们首先引入一个最佳控制器，以将系统带入解决方案状态，然后将学习定义为减少达到这种状态所需的控制量。我们表明，将学习信号纳入动力学作为最佳控制可以以先前未知的方式传输信用分配信息，避免将中间状态存储在内存中，并且不依赖无穷小的学习信号。在实践中，我们的原理可以使基于梯度的学习方法的强大绩效匹配，该方法应用于涉及复发性神经网络和元学习的一系列问题。我们的结果阐明了大脑如何学习并提供解决广泛的机器学习问题的新方法。

短期可塑性（STP）是一种将腐烂记忆存储在大脑皮质突触中的机制。在计算实践中，已经使用了STP，但主要是在尖峰神经元的细分市场中，尽管理论预测它是对某些动态任务的最佳解决方案。在这里，我们提出了一种新型的经常性神经单元，即STP神经元（STPN），它确实实现了惊人的功能。它的关键机制是，突触具有一个状态，通过与偶然性的自我连接在时间上传播。该公式使能够通过时间返回传播来训练可塑性，从而导致一种学习在短期内学习和忘记的形式。 STPN的表现优于所有测试的替代方案，即RNN，LSTMS，其他具有快速重量和可区分可塑性的型号。我们在监督和强化学习（RL）以及协会​​检索，迷宫探索，Atari视频游戏和Mujoco Robotics等任务中证实了这一点。此外，我们计算出，在神经形态或生物电路中，STPN最大程度地减少了模型的能量消耗，因为它会动态降低个体突触。基于这些，生物学STP可能是一种强大的进化吸引子，可最大程度地提高效率和计算能力。现在，STPN将这些神经形态的优势带入了广泛的机器学习实践。代码可从https://github.com/neuromorphiccomputing/stpn获得

The success of machine learning algorithms generally depends on data representation, and we hypothesize that this is because different representations can entangle and hide more or less the different explanatory factors of variation behind the data. Although specific domain knowledge can be used to help design representations, learning with generic priors can also be used, and the quest for AI is motivating the design of more powerful representation-learning algorithms implementing such priors. This paper reviews recent work in the area of unsupervised feature learning and deep learning, covering advances in probabilistic models, auto-encoders, manifold learning, and deep networks. This motivates longer-term unanswered questions about the appropriate objectives for learning good representations, for computing representations (i.e., inference), and the geometrical connections between representation learning, density estimation and manifold learning.

A large amount of recent research has the far-reaching goal of finding training methods for deep neural networks that can serve as alternatives to backpropagation (BP). A prominent example is predictive coding (PC), which is a neuroscience-inspired method that performs inference on hierarchical Gaussian generative models. These methods, however, fail to keep up with modern neural networks, as they are unable to replicate the dynamics of complex layers and activation functions. In this work, we solve this problem by generalizing PC to arbitrary probability distributions, enabling the training of architectures, such as transformers, that are hard to approximate with only Gaussian assumptions. We perform three experimental analyses. First, we study the gap between our method and the standard formulation of PC on multiple toy examples. Second, we test the reconstruction quality on variational autoencoders, where our method reaches the same reconstruction quality as BP. Third, we show that our method allows us to train transformer networks and achieve a performance comparable with BP on conditional language models. More broadly, this method allows neuroscience-inspired learning to be applied to multiple domains, since the internal distributions can be flexibly adapted to the data, tasks, and architectures used.

现代深度学习方法构成了令人难以置信的强大工具，以解决无数的挑战问题。然而，由于深度学习方法作为黑匣子运作，因此与其预测相关的不确定性往往是挑战量化。贝叶斯统计数据提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和完整的工具集，用于设计，实施，列车，使用和评估贝叶斯神经网络，即使用贝叶斯方法培训的随机人工神经网络。

神经生成模型可用于学习从数据的复杂概率分布，从它们中进行采样，并产生概率密度估计。我们提出了一种用于开发由大脑预测处理理论启发的神经生成模型的计算框架。根据预测加工理论，大脑中的神经元形成一个层次结构，其中一个级别的神经元形成关于来自另一个层次的感觉输入的期望。这些神经元根据其期望与观察到的信号之间的差异更新其本地模型。以类似的方式，我们的生成模型中的人造神经元预测了邻近的神经元的作用，并根据预测匹配现实的程度来调整它们的参数。在这项工作中，我们表明，在我们的框架内学到的神经生成模型在练习中跨越多个基准数据集和度量来表现良好，并且保持竞争或显着优于具有类似功能的其他生成模型（例如变形自动编码器）。

深度学习的成功激发了人们对大脑是否使用基于梯度的学习来学习层次结构表示的兴趣。但是，目前在深层神经网络中基于梯度的信用分配的生物学上合理的方法需要无限的小反馈信号，这在生物学上现实的嘈杂环境中是有问题的，并且与神经科学的实验证据不符，表明自上而下的反馈可以显着影响神经活动。在最近提出的一种信用分配方法的深度反馈控制（DFC）的基础上，我们结合了对神经活动的强烈反馈影响与基​​于梯度的学习，并表明这自然会导致对神经网络优化的新看法。权重更新并没有逐渐将网络权重转换为具有低输出损失的配置，而是逐渐最大程度地减少了将网络驱动到监督输出标签的控制器所需的反馈量。此外，我们表明，在DFC中使用强反馈的使用允许同时学习和反馈连接，并在时空中完全本地学习规则。我们通过对标准计算机视觉基准测试的实验来补充我们的理论结果，显示了反向传播的竞争性能以及对噪声的鲁棒性。总体而言，我们的工作提出了一种从根本上新颖的学习视图，作为控制最小化，同时避开了生物学上不切实际的假设。

大脑如何执行信用分配是神经科学中的基本未解决问题。已经提出了许多“生物学上合理的”算法，这些算法计算了近似通过反向传播计算的梯度（BP），并以更紧密地满足神经回路施加的约束的方式运行。许多这样的算法都利用了基于能量的模型（EBM）的框架，其中对模型中的所有自由变量进行了优化以最大程度地减少全局能量函数。但是，在文献中，这些算法存在于孤立状态，没有将它们联系在一起的统一理论。在这里，我们提供了一个全面的理论，说明EBM可以近似BP的条件，这使我们能够统一许多BP近似值导致文献中的许多BP近似（即预测性编码，平衡传播和HEBBIAN学习），并证明它们的近似值均为BP源于自由相平衡处EBM的简单和一般数学特性。然后可以通过不同的能量函数以不同的方式利用该属性，这些特定选择产生了BP Approxatimating算法的家族，两者都包含文献中的已知结果，并且可用于得出新的结果。

Models of sensory processing and learning in the cortex need to efficiently assign credit to synapses in all areas. In deep learning, a known solution is error backpropagation, which however requires biologically implausible weight transport from feed-forward to feedback paths. We introduce Phaseless Alignment Learning (PAL), a bio-plausible method to learn efficient feedback weights in layered cortical hierarchies. This is achieved by exploiting the noise naturally found in biophysical systems as an additional carrier of information. In our dynamical system, all weights are learned simultaneously with always-on plasticity and using only information locally available to the synapses. Our method is completely phase-free (no forward and backward passes or phased learning) and allows for efficient error propagation across multi-layer cortical hierarchies, while maintaining biologically plausible signal transport and learning. Our method is applicable to a wide class of models and improves on previously known biologically plausible ways of credit assignment: compared to random synaptic feedback, it can solve complex tasks with less neurons and learn more useful latent representations. We demonstrate this on various classification tasks using a cortical microcircuit model with prospective coding.

We develop and study new adversarial perturbations that enable an attacker to gain control over decisions in generic Artificial Intelligence (AI) systems including deep learning neural networks. In contrast to adversarial data modification, the attack mechanism we consider here involves alterations to the AI system itself. Such a stealth attack could be conducted by a mischievous, corrupt or disgruntled member of a software development team. It could also be made by those wishing to exploit a ``democratization of AI'' agenda, where network architectures and trained parameter sets are shared publicly. We develop a range of new implementable attack strategies with accompanying analysis, showing that with high probability a stealth attack can be made transparent, in the sense that system performance is unchanged on a fixed validation set which is unknown to the attacker, while evoking any desired output on a trigger input of interest. The attacker only needs to have estimates of the size of the validation set and the spread of the AI's relevant latent space. In the case of deep learning neural networks, we show that a one neuron attack is possible - a modification to the weights and bias associated with a single neuron - revealing a vulnerability arising from over-parameterization. We illustrate these concepts using state of the art architectures on two standard image data sets. Guided by the theory and computational results, we also propose strategies to guard against stealth attacks.

平衡传播（EP）是返回传播（BP）的替代方法，它允许使用本地学习规则训练深层神经网络。因此，它为训练神经形态系统和了解神经生物学的学习提供了一个令人信服的框架。但是，EP需要无限的教学信号，从而限制其在嘈杂的物理系统中的适用性。此外，该算法需要单独的时间阶段，并且尚未应用于大规模问题。在这里，我们通过将EP扩展到全体形态网络来解决这些问题。我们分析表明，即使对于有限振幅教学信号，这种扩展也会自然导致精确的梯度。重要的是，可以将梯度计算为在连续时间内有限神经元活性振荡的第一个傅立叶系数，而无需单独的阶段。此外，我们在数值模拟中证明了我们的方法允许在存在噪声的情况下对梯度的强大估计，并且更深的模型受益于有限的教学信号。最后，我们在ImageNet 32​​x32数据集上建立了EP的第一个基准，并表明它与接受BP训练的等效网络的性能相匹配。我们的工作提供了分析见解，使EP可以扩展到大规模问题，并为振荡如何支持生物学和神经形态系统的学习建立正式框架。

本文介绍了独立的神经颂歌（Snode），这是一种连续深入的神经模型，能够描述完整的深神经网络。这使用了一种新型的非线性结合梯度（NCG）下降优化方案，用于训练，在该方案中可以合并Sobolev梯度以提高模型权重的平滑度。我们还提出了神经敏感性问题的一般表述，并显示了它在NCG训练中的使用方式。灵敏度分析提供了整个网络中不确定性传播的可靠度量，可用于研究模型鲁棒性并产生对抗性攻击。我们的评估表明，与Resnet模型相比，我们的新型配方会提高鲁棒性和性能，并且为设计和开发机器学习的新机会提供了改善的解释性。

当前独立于域的经典计划者需要问题域和实例作为输入的符号模型，从而导致知识采集瓶颈。同时，尽管深度学习在许多领域都取得了重大成功，但知识是在与符号系统（例如计划者）不兼容的亚符号表示中编码的。我们提出了Latplan，这是一种无监督的建筑，结合了深度学习和经典计划。只有一组未标记的图像对，显示了环境中允许的过渡子集（训练输入），Latplan学习了环境的完整命题PDDL动作模型。稍后，当给出代表初始状态和目标状态（计划输入）的一对图像时，Latplan在符号潜在空间中找到了目标状态的计划，并返回可视化的计划执行。我们使用6个计划域的基于图像的版本来评估LATPLAN：8个插头，15个式嘴，Blockworld，Sokoban和两个LightsOut的变体。

Deep learning algorithms have been shown to perform extremely well on many classical machine learning problems. However, recent studies have shown that deep learning, like other machine learning techniques, is vulnerable to adversarial samples: inputs crafted to force a deep neural network (DNN) to provide adversary-selected outputs. Such attacks can seriously undermine the security of the system supported by the DNN, sometimes with devastating consequences. For example, autonomous vehicles can be crashed, illicit or illegal content can bypass content filters, or biometric authentication systems can be manipulated to allow improper access. In this work, we introduce a defensive mechanism called defensive distillation to reduce the effectiveness of adversarial samples on DNNs. We analytically investigate the generalizability and robustness properties granted by the use of defensive distillation when training DNNs. We also empirically study the effectiveness of our defense mechanisms on two DNNs placed in adversarial settings. The study shows that defensive distillation can reduce effectiveness of sample creation from 95% to less than 0.5% on a studied DNN. Such dramatic gains can be explained by the fact that distillation leads gradients used in adversarial sample creation to be reduced by a factor of 10 30 . We also find that distillation increases the average minimum number of features that need to be modified to create adversarial samples by about 800% on one of the DNNs we tested.