本文涉及可微分的动态模型，与神经过程理论一致，铸造大脑功能作为内部生成模型解释观察的分层改进。我们的工作扩展了基于梯度的预测编码的现有实现，具有自动分化，并允许对非线性状态参数化进行深度神经网络。基于梯度的预测编码通过优化从刺激传播到潜伏状态的精度加权预测误差，优化了每个层的推断状态和重量。预测向后流动，从潜在状态朝向下层。这里建议的模型优化了潜在状态的分层和动态预测。分层预测编码预期内容和分层结构。动态预测捕获编码内容的变化以及更高阶导数。分层和动态预测相互作用并解决相同潜在状态的不同方面。我们将模型应用于顺序数据的各种感知和规划任务，并显示其相互依赖。特别是，我们演示了如何在离散时间步骤中采样的并行地址中的抽样距离的抽样距离。我们讨论了放松线性层次结构的可能性，以满足具有紧急特性的更灵活的图形结构。我们将模型的颗粒结构与描述生物网络中的预测编码的规范微电路进行比较，并查看与Markov橡皮布的连接作为表征模块化的工具。最后一节草图为嵌套的时空层次结构中有效的感知和规划的想法。

我们目前PredProp，在神经网络中的权重，活动双向，并行和局部优化和精确的方法。 PredProp共同地址推理和学习，学习秤动态速率和权重梯度的损失函数的曲率通过优化预测误差精度。 PredProp优化上本地可用于每个层的预测误差和变量严格基于与随机梯度下降和错误向前传播网络参数。相邻层可优化共享活动变量，使得预测误差可以在网络中向前传播，而预测向后传播。该方法尽量减少消极自由能，或证据下界整个网络。我们表明，PredProp训练的网络类似于基于梯度的预测编码时的权重的邻国活动变量之间的数量是一个。对比相关的工作，PredProp概括朝任意深度的向后的连接和对任何深网络架构优化精度。由于预测误差精度和Fisher信息针对每一层之间的类比，PredProp实现自然梯度下降的一种形式。当优化DNN模型，逐层PredProp渲染模型的双向预测编码网络。另外DNNs可以参数化2个活动变量之间的权重。我们评估PredProp为简单的推理，学习并结合任务密集DNNs。我们证明了，没有在网络中一个明确的采样工序，PredProp实现变推理的形式，允许从少量的更复杂的任务和数据集，以今后的工作数据和假评估的学习解开的嵌入。

预测性编码提供了对皮质功能的潜在统一说明 - 假设大脑的核心功能是最小化有关世界生成模型的预测错误。该理论与贝叶斯大脑框架密切相关，在过去的二十年中，在理论和认知神经科学领域都产生了重大影响。基于经验测试的预测编码的改进和扩展的理论和数学模型，以及评估其在大脑中实施的潜在生物学合理性以及该理论所做的具体神经生理学和心理学预测。尽管存在这种持久的知名度，但仍未对预测编码理论，尤其是该领域的最新发展进行全面回顾。在这里，我们提供了核心数学结构和预测编码的逻辑的全面综述，从而补充了文献中最新的教程。我们还回顾了该框架中的各种经典和最新工作，从可以实施预测性编码的神经生物学现实的微电路到预测性编码和广泛使用的错误算法的重新传播之间的紧密关系，以及对近距离的调查。预测性编码和现代机器学习技术之间的关系。

有效推论是一种数学框架，它起源于计算神经科学，作为大脑如何实现动作，感知和学习的理论。最近，已被证明是在不确定性下存在国家估算和控制问题的有希望的方法，以及一般的机器人和人工代理人的目标驱动行为的基础。在这里，我们审查了最先进的理论和对国家估计，控制，规划和学习的积极推断的实现;描述当前的成就，特别关注机器人。我们展示了相关实验，以适应，泛化和稳健性而言说明其潜力。此外，我们将这种方法与其他框架联系起来，并讨论其预期的利益和挑战：使用变分贝叶斯推理具有功能生物合理性的统一框架。

在机器学习中的局部更新规则和基于机器学习中的全局梯度的优化存在越来越大的融合。一种特别激励的连接是预测编码网络中本地知识优化与用于培训最先进的深层人工神经网络的错误反向验证算法之间的对应关系。在这里，我们专注于相关的预测编码网络中的精度加权与深神经网络的自然梯度下降算法之间的相关，但仍然很大程度上是探讨的联系。精确加权预测编码是一种有趣的候选者，用于缩放不确定性感知优化 - 特别是对于具有大参数空间的模型 - 由于其分布式性质以及渔民信息度量的底层局部近似，自适应学习自然梯度下降的速率。在这里，我们表明，具有学习精度的分层预测编码网络确实能够解决具有与天然梯度的全局反向化的性能相当的各种监督和无监督的学习任务，并且优于其经典梯度下降对应对方，其中嵌入了高量噪声的任务或标签输入。当应用于未经监视的图像输入的自动编码时，确定性网络产生分层组织和解散的嵌入，暗示在预测编码和分层变分或分化推理之间的密切连接处。

自由能原理及其必然的积极推论构成了一种生物启发的理论，该理论假设生物学作用保留在一个受限制的世界首选状态中，即它们最小化自由能。根据这一原则，生物学家学习了世界的生成模型和未来的计划行动，该模型将使代理保持稳态状态，以满足其偏好。该框架使自己在计算机中实现，因为它理解了使其计算负担得起的重要方面，例如变异推断和摊销计划。在这项工作中，我们研究了深度学习的工具，以设计和实现基于主动推断的人造代理，对自由能原理进行深入学习的呈现，调查工作与机器学习和主动推理领域相关，以及讨论实施过程中涉及的设计选择。该手稿探究了积极推理框架的新观点，将其理论方面扎根于更务实的事务中，为活跃推理的新手提供了实用指南，并为深度学习从业人员的起点提供了研究，以调查自由能源原则的实施。

Despite the wealth of empirical data in neuroscience, there are relatively few global theories about how the brain works. A recently proposed free-energy principle for adaptive systems tries to provide a unified account of action, perception and learning. Although this principle has been portrayed as a unified brain theory 1 , its capacity to unify different perspectives on brain function has yet to be established. This Review attempts to place some key theories within the free-energy framework, in the hope of identifying common themes. I first review the free-energy principle and then deconstruct several global brain theories to show how they all speak to the same underlying idea. The free-energy principleThe free-energy principle (BOX 1) says that any selforganizing system that is at equilibrium with its environment must minimize its free energy 2 . The principle is essentially a mathematical formulation of how adaptive systems (that is, biological agents, like animals or brains) resist a natural tendency to disorder [3][4][5][6] . What follows is a non-mathematical treatment of the motivation and implications of the principle. We will see that although the motivation is quite straightforward, the implications are complicated and diverse. This diversity allows the principle to account for many aspects of brain structure and function and lends it the potential to unify different perspectives on how the brain works. In subsequent sections, I discuss how the principle can be applied to neuronal systems as viewed from these perspectives. This Review starts in a rather abstract and technical way but then tries to unpack the basic idea in more familiar terms.Motivation: resisting a tendency to disorder. The defining characteristic of biological systems is that they maintain their states and form in the face of a constantly changing environment [3][4][5][6] . From the point of view of the brain, the environment includes both the external and the internal milieu. This maintenance of order is seen at many levels and distinguishes biological from other self-organizing systems; indeed, the physiology of biological systems can be reduced almost entirely to their homeostasis 7 . More precisely, the repertoire of physiological and sensory states in which an organism can be is limited, and these states define the organism's phenotype. Mathematically, this means that the probability of these (interoceptive and exteroceptive) sensory states must have low entropy; in other words, there is a high probability that a system will be in any of a small number of states, and a low probability that it will be in the remaining states. Entropy is also the average self information or 'surprise' 8 (more formally, it is the negative log-probability of an outcome). Here, 'a fish out of water' would be in a surprising state (both emotionally and mathematically). A fish that frequently forsook water would have high entropy. Note that both surprise and entropy depend on the agen

平衡系统是表达神经计算的有力方法。作为特殊情况，它们包括对神经科学和机器学习的最新兴趣模型，例如平衡复发性神经网络，深度平衡模型或元学习。在这里，我们提出了一个新的原则，用于学习具有时间和空间本地规则的此类系统。我们的原理将学习作为一个最不控制的问题，我们首先引入一个最佳控制器，以将系统带入解决方案状态，然后将学习定义为减少达到这种状态所需的控制量。我们表明，将学习信号纳入动力学作为最佳控制可以以先前未知的方式传输信用分配信息，避免将中间状态存储在内存中，并且不依赖无穷小的学习信号。在实践中，我们的原理可以使基于梯度的学习方法的强大绩效匹配，该方法应用于涉及复发性神经网络和元学习的一系列问题。我们的结果阐明了大脑如何学习并提供解决广泛的机器学习问题的新方法。

预测性编码（PC）是计算神经科学中的有影响力的理论，它认为皮层通过实施层次结构的预测误差最小化过程来形成无监督的世界模型。 PC网络（PCN）分为两个阶段。首先，更新神经活动以优化网络对外部刺激的反应。其次，更新突触权重以整合活动中的这种变化 - 一种称为\ emph {前瞻性配置}的算法。虽然先前的工作已经显示了如何在各种限制下发现近似倒流（BP），但最近的工作表明，在该标准制度中运行的PCN不近似BP，但仍获得了竞争性培训和广泛性培训，以进行BP训练。网络在诸如在线，几乎没有射击和持续学习之类的任务上的网络效果超过了它们，在该任务中，大脑擅长于大脑。尽管这种有希望的经验表现，但理论上对PCN的性质和动力学在该制度中的理解很少。在本文中，我们对经过预期配置训练的PCN的性质进行了全面的理论分析。我们首先得出有关PCN的推理平衡以及与目标传播（TP）的紧密联系关系的分析结果。其次，我们提供了PCN中学习的理论分析，作为广义期望最大化的变体，并使用它来证明PCN与BP损耗函数的关键点的收敛性，从而表明，从理论上讲，深色PCN可以实现相同的实现。作为BP的概括性能，同时保持其独特的优势。

在人类中，感知意识促进了来自感官输入的快速识别和提取信息。这种意识在很大程度上取决于人类代理人如何与环境相互作用。在这项工作中，我们提出了主动神经生成编码，用于学习动作驱动的生成模型的计算框架，而不会在动态环境中反正出错误（Backprop）。具体而言，我们开发了一种智能代理，即使具有稀疏奖励，也可以从规划的认知理论中汲取灵感。我们展示了我们框架与深度Q学习竞争力的几个简单的控制问题。我们的代理的强劲表现提供了有希望的证据，即神经推断和学习的无背方法可以推动目标定向行为。

Synaptic plasticity allows cortical circuits to learn new tasks and to adapt to changing environments. How do cortical circuits use plasticity to acquire functions such as decision-making or working memory? Neurons are connected in complex ways, forming recurrent neural networks, and learning modifies the strength of their connections. Moreover, neurons communicate emitting brief discrete electric signals. Here we describe how to train recurrent neural networks in tasks like those used to train animals in neuroscience laboratories, and how computations emerge in the trained networks. Surprisingly, artificial networks and real brains can use similar computational strategies.

值得怀疑的是，动物具有其四肢的完美逆模型（例如，必须在每个关节上应用什么肌肉收缩才能到达太空中的特定位置）。但是，在机器人控制中，将ARM的最终效应器移至目标位置或沿目标轨迹需要准确的前进和逆模型。在这里，我们证明，通过从交互中学习过渡（正向）模型，我们可以使用它来推动摊销策略的学习。因此，我们重新审视了与深度主动推理框架有关的策略优化，并描述了一个模块化神经网络体系结构，该模块化神经网络体系结构同时从预测错误中学习了系统动力学以及生成合适的连续控制命令以达到所需参考位置的随机策略。我们通过将模型与线性二次调节器的基线进行比较来评估该模型，并以其他步骤来朝着类似人类的运动控制方向进行比较。

我们展示了任何具有自由度和局部自由能的系统如何在自由能原理的限制下，都将发展朝着支持层次结构计算的神经形态形态发展，在该计算中，每个层次结构的每个级别都会构成其投入的粗糙度。，并双重地将其输出的细粒度。这种层次结构发生在整个生物学中，从细胞内信号转导途径的体系结构到哺乳动物大脑中的感知和动作周期的大规模组织。正式地，一方面，锥体 - 康基图（CCCD）作为量子参考帧的模型，另一方面是CCCDS和拓扑量子场理论之间的近距离形式连接，允许在全剂量量子中代表此类计算拓扑量子神经网络的计算框架。

有效计划的能力对于生物体和人造系统都是至关重要的。在认知神经科学和人工智能（AI）中广泛研究了基于模型的计划和假期，但是从不同的角度来看，以及难以调和的考虑（生物现实主义与可伸缩性）的不同意见（生物现实主义与可伸缩性）。在这里，我们介绍了一种新颖的方法来计划大型POMDP（Active Tree search（ACT）），该方法结合了神经科学中领先的计划理论的规范性特征和生物学现实主义（主动推论）和树木搜索方法的可扩展性AI。这种统一对两种方法都是有益的。一方面，使用树搜索可以使生物学接地的第一原理，主动推断的方法可应用于大规模问题。另一方面，主动推理为探索 - 开发困境提供了一种原则性的解决方案，该解决方案通常在树搜索方法中以启发性解决。我们的模拟表明，ACT成功地浏览了对基于抽样的方法，需要自适应探索的问题以及大型POMDP问题“ RockSample”的二进制树，其中ACT近似于最新的POMDP解决方案。此外，我们说明了如何使用ACT来模拟人类和其他解决大型计划问题的人类和其他动物的神经生理反应（例如，在海马和前额叶皮层）。这些数值分析表明，主动树搜索是神经科学和AI计划理论的原则性实现，既具有生物现实主义和可扩展性。

我们解决了弥合海马形成（HPF）神经科学知识与机器人和人工智能的工程知识之间差距的具有挑战性的。同时定位和映射（SLAM）已经在机器人学中实现为空间认知的基本功能。在这项研究中，我们的目标是调查Slam功能如何对应于HPF。为此，提出了一种基于文献综述的假设，并且呈现了其验证的方向，而不执行任何新的模拟。我们调查了HPF模型和各种计算的模型，包括脑激发的血液，空间概念形成和深度生成模型。此外，我们讨论了神经科学中HPF的结果与机器人中的SLAM之间的关系。由此，使用用于构建脑参考架构的方法来构建海马形成启动的概率产生模型（PGM）。我们基于传统SLAM模型的修改提出了一种HPF-PGM作为计算模型，该模型设计成与HPF的解剖结构和功能高度一致。通过参考大脑，我们建议将Enocentric / Allocentric信息集成从Entorlinal Cortex集成到海马以及使用离散事件队列的使用。

建立一种人类综合人工认知系统，即人工综合情报（AGI），是人工智能（AI）领域的圣杯。此外，实现人工系统实现认知发展的计算模型将是脑和认知科学的优秀参考。本文介绍了一种通过集成元素认知模块来开发认知架构的方法，以实现整个模块的训练。这种方法是基于两个想法：（1）脑激发AI，学习人类脑建筑以构建人类级智能，（2）概率的生成模型（PGM）基础的认知系统，为发展机器人开发认知系统通过整合PGM。发展框架称为全大脑PGM（WB-PGM），其根本地不同于现有的认知架构，因为它可以通过基于感官电机信息的系统不断学习。在这项研究中，我们描述了WB-PGM的基本原理，基于PGM的元素认知模块的当前状态，与人类大脑的关系，对认知模块的整合的方法，以及未来的挑战。我们的研究结果可以作为大脑研究的参考。随着PGMS描述变量之间的明确信息关系，本说明书提供了从计算科学到脑科学的可解释指导。通过提供此类信息，神经科学的研究人员可以向AI和机器人提供的研究人员提供反馈，以及目前模型缺乏对大脑的影响。此外，它可以促进神经认知科学的研究人员以及AI和机器人的合作。

神经生成模型可用于学习从数据的复杂概率分布，从它们中进行采样，并产生概率密度估计。我们提出了一种用于开发由大脑预测处理理论启发的神经生成模型的计算框架。根据预测加工理论，大脑中的神经元形成一个层次结构，其中一个级别的神经元形成关于来自另一个层次的感觉输入的期望。这些神经元根据其期望与观察到的信号之间的差异更新其本地模型。以类似的方式，我们的生成模型中的人造神经元预测了邻近的神经元的作用，并根据预测匹配现实的程度来调整它们的参数。在这项工作中，我们表明，在我们的框架内学到的神经生成模型在练习中跨越多个基准数据集和度量来表现良好，并且保持竞争或显着优于具有类似功能的其他生成模型（例如变形自动编码器）。

动态系统参见在物理，生物学，化学等自然科学中广泛使用，以及电路分析，计算流体动力学和控制等工程学科。对于简单的系统，可以通过应用基本物理法来导出管理动态的微分方程。然而，对于更复杂的系统，这种方法变得非常困难。数据驱动建模是一种替代范式，可以使用真实系统的观察来了解系统的动态的近似值。近年来，对数据驱动的建模技术的兴趣增加，特别是神经网络已被证明提供了解决广泛任务的有效框架。本文提供了使用神经网络构建动态系统模型的不同方式的调查。除了基础概述外，我们还审查了相关的文献，概述了这些建模范式必须克服的数值模拟中最重要的挑战。根据审查的文献和确定的挑战，我们提供了关于有前途的研究领域的讨论。

大脑减轻了对自我产生的遗产的反应（例如，我们不能自我痒痒）。这种现象是这种现象，称为感官衰减，天生，还是通过学习获得的？为了探讨后一种可能性，我们创建了由感官（Proprioceptive和Extleceptive），协会和行政区域组成的神经网络模型。由网络控制的模拟机器人学会了以获得具有自我产生或外部产生的脱敏反馈的电动机图案。我们发现，机器人首先在学习早期阶段的自我产生和外部产生的条件下的感觉和关联区域中的响应增加，但随后，它逐渐衰减在仅用于自我产生的条件的感觉区域中的反应。机器人自发地获得了通过切换执行区域的神经状态的条件来切​​换（衰减或放大）响应的容量。这表明通过学习自动组织网络内部感官信息流的主动控制。我们还发现，调制感官信息流程的天然改变诱导类似于精神分裂症和自闭症谱系疾病的一些特征。本研究提供了一种关于神经机制潜在的感知现象和精神病疾病的新颖性观点。

积极推断是复杂系统中的认知和行为的叙述，它在贝叶斯推论的理论地幔下举起动作，感知和学习。积极的推论已经看到学术研究中的应用越来越多，特别是在寻求模拟人类或动物行为的领域。虽然近年来，来自有效推理文献产生的一些代码已经用Python和Julia这样的开源语言编写，迄今为止，用于模拟活动推理代理的最流行的软件是SPM，Matlab库的DEM工具箱最初开发用于神经影像数据的统计分析和建模。因此，在纯粹的数字和科学学科的应用程序方面，表现出对积极推断的兴趣，因此为在开源科学计算语言中模拟了激活推论的通用，广泛可用的和用户友好的代码，这一切都表现为纯粹的数字以及跨科学学科的应用程序。像python。我们在这里呈现的Python包，Pymdp（参见https://github.com/fifer-active/pymdp）表示朝这个方向的重要一步：即，我们提供了用于模拟有源推断的第一个开源包，部分 - 可观察的马尔可夫决策过程或POMDPS。我们查看包的结构，并解释了模块化设计和定制等优点，同时提供沿着文本代码块，以便演示如何使用它以轻松地构建和运行主动推断过程。我们开发了PyMDP，以增加有效推理框架的可访问性和暴露于有多种纪律背景的研究人员，工程师和开发人员。本着开源软件的精神，我们也希望它在不断增长的积极推理界中产生新的创新，发展和合作。