A large amount of recent research has the far-reaching goal of finding training methods for deep neural networks that can serve as alternatives to backpropagation (BP). A prominent example is predictive coding (PC), which is a neuroscience-inspired method that performs inference on hierarchical Gaussian generative models. These methods, however, fail to keep up with modern neural networks, as they are unable to replicate the dynamics of complex layers and activation functions. In this work, we solve this problem by generalizing PC to arbitrary probability distributions, enabling the training of architectures, such as transformers, that are hard to approximate with only Gaussian assumptions. We perform three experimental analyses. First, we study the gap between our method and the standard formulation of PC on multiple toy examples. Second, we test the reconstruction quality on variational autoencoders, where our method reaches the same reconstruction quality as BP. Third, we show that our method allows us to train transformer networks and achieve a performance comparable with BP on conditional language models. More broadly, this method allows neuroscience-inspired learning to be applied to multiple domains, since the internal distributions can be flexibly adapted to the data, tasks, and architectures used.

预测性编码（PC）是计算神经科学中的有影响力的理论，它认为皮层通过实施层次结构的预测误差最小化过程来形成无监督的世界模型。 PC网络（PCN）分为两个阶段。首先，更新神经活动以优化网络对外部刺激的反应。其次，更新突触权重以整合活动中的这种变化 - 一种称为\ emph {前瞻性配置}的算法。虽然先前的工作已经显示了如何在各种限制下发现近似倒流（BP），但最近的工作表明，在该标准制度中运行的PCN不近似BP，但仍获得了竞争性培训和广泛性培训，以进行BP训练。网络在诸如在线，几乎没有射击和持续学习之类的任务上的网络效果超过了它们，在该任务中，大脑擅长于大脑。尽管这种有希望的经验表现，但理论上对PCN的性质和动力学在该制度中的理解很少。在本文中，我们对经过预期配置训练的PCN的性质进行了全面的理论分析。我们首先得出有关PCN的推理平衡以及与目标传播（TP）的紧密联系关系的分析结果。其次，我们提供了PCN中学习的理论分析，作为广义期望最大化的变体，并使用它来证明PCN与BP损耗函数的关键点的收敛性，从而表明，从理论上讲，深色PCN可以实现相同的实现。作为BP的概括性能，同时保持其独特的优势。

预测性编码提供了对皮质功能的潜在统一说明 - 假设大脑的核心功能是最小化有关世界生成模型的预测错误。该理论与贝叶斯大脑框架密切相关，在过去的二十年中，在理论和认知神经科学领域都产生了重大影响。基于经验测试的预测编码的改进和扩展的理论和数学模型，以及评估其在大脑中实施的潜在生物学合理性以及该理论所做的具体神经生理学和心理学预测。尽管存在这种持久的知名度，但仍未对预测编码理论，尤其是该领域的最新发展进行全面回顾。在这里，我们提供了核心数学结构和预测编码的逻辑的全面综述，从而补充了文献中最新的教程。我们还回顾了该框架中的各种经典和最新工作，从可以实施预测性编码的神经生物学现实的微电路到预测性编码和广泛使用的错误算法的重新传播之间的紧密关系，以及对近距离的调查。预测性编码和现代机器学习技术之间的关系。

Helmholtz机器（HMS）是由两个Sigmoid信念网络（SBN）组成的一类生成模型，分别用作编码器和解码器。这些模型通常是使用称为唤醒 - 睡眠（WS）的两步优化算法对这些模型进行的，并且最近通过改进版本（例如重新恢复的尾流（RWS）和双向Helmholtz Machines（BIHM））进行了改进版本。 SBN中连接的局部性在与概率模型相关的Fisher信息矩阵中诱导稀疏性，并以细粒粒度的块状结构的形式引起。在本文中，我们利用自然梯度利用该特性来有效地训练SBN和HMS。我们提出了一种新颖的算法，称为“自然重新唤醒”（NRWS），该算法与其标准版本的几何适应相对应。以类似的方式，我们还引入了天然双向Helmholtz机器（NBIHM）。与以前的工作不同，我们将展示如何有效地计算自然梯度，而无需引入Fisher信息矩阵结构的任何近似值。在文献中进行的标准数据集进行的实验表明，NRW和NBIHM不仅在其非几何基准方面，而且在HMS的最先进培训算法方面都具有一致的改善。在训练后，汇聚速度以及对数可能达到的对数似然的值量化了改进。

大脑如何执行信用分配是神经科学中的基本未解决问题。已经提出了许多“生物学上合理的”算法，这些算法计算了近似通过反向传播计算的梯度（BP），并以更紧密地满足神经回路施加的约束的方式运行。许多这样的算法都利用了基于能量的模型（EBM）的框架，其中对模型中的所有自由变量进行了优化以最大程度地减少全局能量函数。但是，在文献中，这些算法存在于孤立状态，没有将它们联系在一起的统一理论。在这里，我们提供了一个全面的理论，说明EBM可以近似BP的条件，这使我们能够统一许多BP近似值导致文献中的许多BP近似（即预测性编码，平衡传播和HEBBIAN学习），并证明它们的近似值均为BP源于自由相平衡处EBM的简单和一般数学特性。然后可以通过不同的能量函数以不同的方式利用该属性，这些特定选择产生了BP Approxatimating算法的家族，两者都包含文献中的已知结果，并且可用于得出新的结果。

We marry ideas from deep neural networks and approximate Bayesian inference to derive a generalised class of deep, directed generative models, endowed with a new algorithm for scalable inference and learning. Our algorithm introduces a recognition model to represent an approximate posterior distribution and uses this for optimisation of a variational lower bound. We develop stochastic backpropagation -rules for gradient backpropagation through stochastic variables -and derive an algorithm that allows for joint optimisation of the parameters of both the generative and recognition models. We demonstrate on several real-world data sets that by using stochastic backpropagation and variational inference, we obtain models that are able to generate realistic samples of data, allow for accurate imputations of missing data, and provide a useful tool for high-dimensional data visualisation.

神经生成模型可用于学习从数据的复杂概率分布，从它们中进行采样，并产生概率密度估计。我们提出了一种用于开发由大脑预测处理理论启发的神经生成模型的计算框架。根据预测加工理论，大脑中的神经元形成一个层次结构，其中一个级别的神经元形成关于来自另一个层次的感觉输入的期望。这些神经元根据其期望与观察到的信号之间的差异更新其本地模型。以类似的方式，我们的生成模型中的人造神经元预测了邻近的神经元的作用，并根据预测匹配现实的程度来调整它们的参数。在这项工作中，我们表明，在我们的框架内学到的神经生成模型在练习中跨越多个基准数据集和度量来表现良好，并且保持竞争或显着优于具有类似功能的其他生成模型（例如变形自动编码器）。

HEBBIAN在获奖者全方位（WTA）网络中的可塑性对于神经形态的片上学习非常有吸引力，这是由于其高效，本地，无监督和在线性质。此外，它的生物学合理性可能有助于克服人工算法的重要局限性，例如它们对对抗攻击和长期训练时间的敏感性。但是，Hebbian WTA学习在机器学习（ML）中很少使用，这可能是因为它缺少与深度学习兼容的优化理论（DL）。在这里，我们严格地表明，由标准DL元素构建的WTA网络与我们得出的Hebbian样可塑性结合在一起，维持数据的贝叶斯生成模型。重要的是，在没有任何监督的情况下，我们的算法，SOFTHEBB，可以最大程度地减少跨渗透性，即监督DL中的共同损失函数。我们在理论上和实践中展示了这一点。关键是“软” WTA，那里没有绝对的“硬”赢家神经元。令人惊讶的是，在浅网络比较与背面的比较（BP）中，SOFTHEBB表现出超出其HEBBIAN效率的优势。也就是说，它的收敛速度更快，并且对噪声和对抗性攻击更加强大。值得注意的是，最大程度地混淆SoftheBB的攻击也使人眼睛混淆，可能将人类感知的鲁棒性与Hebbian WTA Cortects联系在一起。最后，SOFTHEBB可以将合成对象作为真实对象类的插值生成。总而言之，Hebbian效率，理论的基础，跨透明拷贝最小化以及令人惊讶的经验优势，表明SOFTHEBB可能会激发高度神经态和彻底不同，但实用且有利的学习算法和硬件加速器。

Large multilayer neural networks trained with backpropagation have recently achieved state-ofthe-art results in a wide range of problems. However, using backprop for neural net learning still has some disadvantages, e.g., having to tune a large number of hyperparameters to the data, lack of calibrated probabilistic predictions, and a tendency to overfit the training data. In principle, the Bayesian approach to learning neural networks does not have these problems. However, existing Bayesian techniques lack scalability to large dataset and network sizes. In this work we present a novel scalable method for learning Bayesian neural networks, called probabilistic backpropagation (PBP). Similar to classical backpropagation, PBP works by computing a forward propagation of probabilities through the network and then doing a backward computation of gradients. A series of experiments on ten real-world datasets show that PBP is significantly faster than other techniques, while offering competitive predictive abilities. Our experiments also show that PBP provides accurate estimates of the posterior variance on the network weights.

Compared to point estimates calculated by standard neural networks, Bayesian neural networks (BNN) provide probability distributions over the output predictions and model parameters, i.e., the weights. Training the weight distribution of a BNN, however, is more involved due to the intractability of the underlying Bayesian inference problem and thus, requires efficient approximations. In this paper, we propose a novel approach for BNN learning via closed-form Bayesian inference. For this purpose, the calculation of the predictive distribution of the output and the update of the weight distribution are treated as Bayesian filtering and smoothing problems, where the weights are modeled as Gaussian random variables. This allows closed-form expressions for training the network's parameters in a sequential/online fashion without gradient descent. We demonstrate our method on several UCI datasets and compare it to the state of the art.

这项正在进行的工作旨在为统计学习提供统一的介绍，从诸如GMM和HMM等经典模型到现代神经网络（如VAE和扩散模型）缓慢地构建。如今，有许多互联网资源可以孤立地解释这一点或新的机器学习算法，但是它们并没有（也不能在如此简短的空间中）将这些算法彼此连接起来，或者与统计模型的经典文献相连现代算法出现了。同样明显缺乏的是一个单一的符号系统，尽管对那些已经熟悉材料的人（如这些帖子的作者）不满意，但对新手的入境造成了重大障碍。同样，我的目的是将各种模型（尽可能）吸收到一个用于推理和学习的框架上，表明（以及为什么）如何以最小的变化将一个模型更改为另一个模型（其中一些是新颖的，另一些是文献中的）。某些背景当然是必要的。我以为读者熟悉基本的多变量计算，概率和统计以及线性代数。这本书的目标当然不是​​完整性，而是从基本知识到过去十年中极强大的新模型的直线路径或多或少。然后，目标是补充而不是替换，诸如Bishop的\ emph {模式识别和机器学习}之类的综合文本，该文本现在已经15岁了。

人工神经网络中的监督学习通常依赖于反向传播，其中权重根据误差函数梯度进行更新，并从输出层到输入层依次传播。尽管这种方法已被证明在广泛的应用领域有效，但在许多方面缺乏生物学上的合理性，包括重量对称问题，学习对非本地信号的依赖性，错误传播期间的神经活动的冻结以及更新锁定的冻结问题。已经引入了替代培训计划，包括标志对称性，反馈对准和直接反馈对准，但它们总是依靠向后传球，这阻碍了同时解决所有问题的可能性。在这里，我们建议用第二个正向通行证替换向后通行证，其中根据网络的误差调制输入信号。我们表明，这项新颖的学习规则全面解决了上述所有问题，并且可以应用于完全连接和卷积模型。我们测试了有关MNIST，CIFAR-10和CIFAR-100的学习规则。这些结果有助于将生物学原理纳入机器学习。

有效推论是一种数学框架，它起源于计算神经科学，作为大脑如何实现动作，感知和学习的理论。最近，已被证明是在不确定性下存在国家估算和控制问题的有希望的方法，以及一般的机器人和人工代理人的目标驱动行为的基础。在这里，我们审查了最先进的理论和对国家估计，控制，规划和学习的积极推断的实现;描述当前的成就，特别关注机器人。我们展示了相关实验，以适应，泛化和稳健性而言说明其潜力。此外，我们将这种方法与其他框架联系起来，并讨论其预期的利益和挑战：使用变分贝叶斯推理具有功能生物合理性的统一框架。

我们通过为变压器嵌入的变异信息瓶颈常规剂开发变压器提出了VAE。我们将变压器编码器的嵌入空间形式化为混合概率分布，并使用贝叶斯非参数来推导非参数变化信息瓶颈（NVIB）来用于此类基于注意力的嵌入。非参数方法支持的混合成分数量可变数量，可捕获注意力支持的向量数量，而我们的非参数分布的交换性捕获了注意力的置换不变性。这使得NVIB能够将注意力访问的向量数量以及各个向量中的信息量进行正规化。通过将变压器编码器与NVIB进行正规注意，我们提出了一个非参数变异自动编码器（NVAE）。关于训练自然语言文本的NVAE的最初实验表明，诱导的嵌入空间具有VAE对于变压器的所需特性。

统计模型是机器学习的核心，具有广泛适用性，跨各种下游任务。模型通常由通过最大似然估计从数据估计的自由参数控制。但是，当面对现实世界数据集时，许多模型运行到一个关键问题：它们是在完全观察到的数据方面配制的，而在实践中，数据集会困扰缺失数据。来自不完整数据的统计模型估计理论在概念上类似于潜在变量模型的估计，其中存在强大的工具，例如变分推理（VI）。然而，与标准潜在变量模型相比，具有不完整数据的参数估计通常需要估计缺失变量的指数 - 许多条件分布，因此使标准的VI方法是棘手的。通过引入变分Gibbs推理（VGI），是一种新的通用方法来解决这个差距，以估计来自不完整数据的统计模型参数。我们在一组合成和实际估算任务上验证VGI，从不完整的数据中估算重要的机器学习模型，VAE和标准化流程。拟议的方法，同时通用，实现比现有的特定模型特定估计方法竞争或更好的性能。

The success of machine learning algorithms generally depends on data representation, and we hypothesize that this is because different representations can entangle and hide more or less the different explanatory factors of variation behind the data. Although specific domain knowledge can be used to help design representations, learning with generic priors can also be used, and the quest for AI is motivating the design of more powerful representation-learning algorithms implementing such priors. This paper reviews recent work in the area of unsupervised feature learning and deep learning, covering advances in probabilistic models, auto-encoders, manifold learning, and deep networks. This motivates longer-term unanswered questions about the appropriate objectives for learning good representations, for computing representations (i.e., inference), and the geometrical connections between representation learning, density estimation and manifold learning.

现代深度学习方法构成了令人难以置信的强大工具，以解决无数的挑战问题。然而，由于深度学习方法作为黑匣子运作，因此与其预测相关的不确定性往往是挑战量化。贝叶斯统计数据提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和完整的工具集，用于设计，实施，列车，使用和评估贝叶斯神经网络，即使用贝叶斯方法培训的随机人工神经网络。

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

当前独立于域的经典计划者需要问题域和实例作为输入的符号模型，从而导致知识采集瓶颈。同时，尽管深度学习在许多领域都取得了重大成功，但知识是在与符号系统（例如计划者）不兼容的亚符号表示中编码的。我们提出了Latplan，这是一种无监督的建筑，结合了深度学习和经典计划。只有一组未标记的图像对，显示了环境中允许的过渡子集（训练输入），Latplan学习了环境的完整命题PDDL动作模型。稍后，当给出代表初始状态和目标状态（计划输入）的一对图像时，Latplan在符号潜在空间中找到了目标状态的计划，并返回可视化的计划执行。我们使用6个计划域的基于图像的版本来评估LATPLAN：8个插头，15个式嘴，Blockworld，Sokoban和两个LightsOut的变体。

变异推理（VI）的核心原理是将计算复杂后概率密度计算的统计推断问题转换为可拖动的优化问题。该属性使VI比几种基于采样的技术更快。但是，传统的VI算法无法扩展到大型数据集，并且无法轻易推断出越野数据点，而无需重新运行优化过程。该领域的最新发展，例如随机，黑框和摊销VI，已帮助解决了这些问题。如今，生成的建模任务广泛利用摊销VI来实现其效率和可扩展性，因为它利用参数化函数来学习近似的后验密度参数。在本文中，我们回顾了各种VI技术的数学基础，以构成理解摊销VI的基础。此外，我们还概述了最近解决摊销VI问题的趋势，例如摊销差距，泛化问题，不一致的表示学习和后验崩溃。最后，我们分析了改善VI优化的替代差异度量。