经常性的神经网络（RNNS）是用于处理时间序列数据的强大模型，但了解它们如何运作仍然具有挑战性。提高这种理解对机器学习和神经科学社区的大量兴趣。逆向工程框架训练的RNN通过在其固定点周围线性化提供了洞察力，但该方法具有重大挑战。这些包括在使用线性化动态重建非线性动态时，选择在研究RNN动态和误差累积时难以扩展的固定点。我们提出了一种通过使用新型切换线性动态系统（SLD）制剂的RNN共同训练RNN来克服这些限制的新模型。共同训练的RNN的一阶泰勒系列扩展和训练拾取RNN的固定点的辅助功能管理SLDS动态。结果是训练有素的SLDS变体，其与RNN相近，可以为状态空间中的每个点产生固定点的辅助函数，以及其动态已经规程的训练有素的非线性RNN，使得其一阶项执行计算， 如果可能的话。该模型删除了培训后的固定点优化，并允许我们明确地研究SLD在状态空间中的任何点的学习动态。它还概括了SLDS模型，以在交换机共享参数的同时将SLD模型转换为切换点的连续歧管。我们以与先前的工作逆向工程RNN相关的两个合成任务验证模型的实用程序。然后，我们表明我们的模型可以用作更复杂的架构中的替换，例如LFAD，并应用该LFADS杂种以分析非人类灵长类动物的电机系统的单试尖峰活动。

学习的优化器是可以训练解决优化问题的算法。与使用从理论原则派生的简单更新规则的基线优化器（例如势头或亚当）相比，学习的优化器使用灵活，高维，非线性参数化。虽然这可能导致某些设置中的更好性能，但他们的内部工作仍然是一个谜。学习优化器如何优于一个良好的调整基线？它是否学习了现有优化技术的复杂组合，或者是实现全新的行为吗？在这项工作中，我们通过仔细分析和可视化的学习优化器来解决这些问题。我们研究了从三个不同的任务中从头开始培训的优化器，并发现他们已经了解了可解释的机制，包括：势头，渐变剪辑，学习率计划以及新形式的学习率适应形式。此外，我们展示了学习优化器的动态如何实现这些行为。我们的结果帮助阐明了对学习优化器的工作原理的先前密切了解，并建立了解释未来学习优化器的工具。

Artificial neural networks that can recover latent dynamics from recorded neural activity may provide a powerful avenue for identifying and interpreting the dynamical motifs underlying biological computation. Given that neural variance alone does not uniquely determine a latent dynamical system, interpretable architectures should prioritize accurate and low-dimensional latent dynamics. In this work, we evaluated the performance of sequential autoencoders (SAEs) in recovering three latent chaotic attractors from simulated neural datasets. We found that SAEs with widely-used recurrent neural network (RNN)-based dynamics were unable to infer accurate rates at the true latent state dimensionality, and that larger RNNs relied upon dynamical features not present in the data. On the other hand, SAEs with neural ordinary differential equation (NODE)-based dynamics inferred accurate rates at the true latent state dimensionality, while also recovering latent trajectories and fixed point structure. We attribute this finding to the fact that NODEs allow use of multi-layer perceptrons (MLPs) of arbitrary capacity to model the vector field. Decoupling the expressivity of the dynamics model from its latent dimensionality enables NODEs to learn the requisite low-D dynamics where RNN cells fail. The suboptimal interpretability of widely-used RNN-based dynamics may motivate substitution for alternative architectures, such as NODE, that enable learning of accurate dynamics in low-dimensional latent spaces.

经常性神经网络（RNNS）是强大的动态模型，广泛用于机器学习（ML）和神经科学。之前的理论作品集中在具有添加剂相互作用的RNN上。然而，门控 - 即乘法 - 相互作用在真神经元中普遍存在，并且也是ML中最佳性能RNN的中心特征。在这里，我们表明Gating提供灵活地控制集体动态的两个突出特征：i）时间尺寸和ii）维度。栅极控制时间尺度导致新颖的稳定状态，网络用作灵活积分器。与以前的方法不同，Gating允许这种重要功能而没有参数微调或特殊对称。门还提供一种灵活的上下文相关机制来重置存储器跟踪，从而补充存储器功能。调制维度的栅极可以诱导新颖的不连续的混沌转变，其中输入将稳定的系统推向强的混沌活动，与通常稳定的输入效果相比。在这种转变之上，与添加剂RNN不同，关键点（拓扑复杂性）的增殖与混沌动力学的外观解耦（动态复杂性）。丰富的动态总结在相图中，从而为ML从业者提供了一个原理参数初始化选择的地图。

在许多学科中，动态系统的数据信息预测模型的开发引起了广泛的兴趣。我们提出了一个统一的框架，用于混合机械和机器学习方法，以从嘈杂和部分观察到的数据中识别动态系统。我们将纯数据驱动的学习与混合模型进行比较，这些学习结合了不完善的域知识。我们的公式与所选的机器学习模型不可知，在连续和离散的时间设置中都呈现，并且与表现出很大的内存和错误的模型误差兼容。首先，我们从学习理论的角度研究无内存线性（W.R.T.参数依赖性）模型误差，从而定义了过多的风险和概括误差。对于沿阵行的连续时间系统，我们证明，多余的风险和泛化误差都通过与T的正方形介于T的术语（指定训练数据的时间间隔）的术语界定。其次，我们研究了通过记忆建模而受益的方案，证明了两类连续时间复发性神经网络（RNN）的通用近似定理：两者都可以学习与内存有关的模型误差。此外，我们将一类RNN连接到储层计算，从而将学习依赖性错误的学习与使用随机特征在Banach空间之间进行监督学习的最新工作联系起来。给出了数值结果（Lorenz '63，Lorenz '96多尺度系统），以比较纯粹的数据驱动和混合方法，发现混合方法较少，渴望数据较少，并且更有效。最后，我们从数值上证明了如何利用数据同化来从嘈杂，部分观察到的数据中学习隐藏的动态，并说明了通过这种方法和培训此类模型来表示记忆的挑战。

跟踪湍流羽流以定位其源是一个复杂的控制问题，因为它需要多感觉集成，并且必须强大地间歇性气味，更改风向和可变羽流统计。这项任务是通过飞行昆虫进行常规进行的，通常是长途跋涉，以追求食物或配偶。在许多实验研究中已经详细研究了这种显着行为的几个方面。在这里，我们采用硅化方法互补，采用培训，利用加强学习培训，开发对支持羽流跟踪的行为和神经计算的综合了解。具体而言，我们使用深增强学习（DRL）来训练经常性神经网络（RNN）代理以定位模拟湍流羽毛的来源。有趣的是，代理人的紧急行为类似于飞行昆虫，而RNNS学会代表任务相关变量，例如自上次气味遭遇以来的头部方向和时间。我们的分析表明了一种有趣的实验可测试的假设，用于跟踪风向改变的羽毛 - 该试剂遵循局部羽状形状而不是电流风向。虽然反射短记忆行为足以跟踪恒定风中的羽毛，但更长的记忆时间表对于跟踪切换方向的羽毛是必不可少的。在神经动力学的水平下，RNNS的人口活动是低维度的，并且组织成不同的动态结构，与行为模块一些对应。我们的Silico方法提供了湍流羽流跟踪策略的关键直觉，并激励未来的目标实验和理论发展。

经常性神经网络（RNN）经常用于建模脑功能和结构的方面。在这项工作中，我们培训了小型完全连接的RNN，以具有时变刺激的时间和流量控制任务。我们的结果表明，不同的RNN可以通过对不同的底层动态进行不同的RNN来解决相同的任务，并且优雅地降低的性能随着网络尺寸而降低，间隔持续时间增加，或者连接损坏。我们的结果对于量化通常用作黑匣子的模型的不同方面是有用的，并且需要预先理解以建模脑皮质区域的生物反应。

在许多科学学科中，我们有兴趣推断一组观察到的时间序列的非线性动力学系统，这是面对混乱的行为和噪音，这是一项艰巨的任务。以前的深度学习方法实现了这一目标，通常缺乏解释性和障碍。尤其是，即使基本动力学生存在较低维的多种多样的情况下，忠实嵌入通常需要的高维潜在空间也会阻碍理论分析。在树突计算的新兴原则的推动下，我们通过线性样条基础扩展增强了动态解释和数学可牵引的分段线性（PL）复发性神经网络（RNN）。我们表明，这种方法保留了简单PLRNN的所有理论上吸引人的特性，但在相对较低的尺寸中提高了其近似任意非线性动态系统的能力。我们采用两个框架来训练该系统，一个将反向传播的时间（BPTT）与教师强迫结合在一起，另一个将基于快速可扩展的变异推理的基础。我们表明，树枝状扩展的PLRNN可以在各种动力学系统基准上获得更少的参数和尺寸，并与其他方法进行比较，同时保留了可拖动和可解释的结构。

Despite the widespread practical success of deep learning methods, our theoretical understanding of the dynamics of learning in deep neural networks remains quite sparse. We attempt to bridge the gap between the theory and practice of deep learning by systematically analyzing learning dynamics for the restricted case of deep linear neural networks. Despite the linearity of their input-output map, such networks have nonlinear gradient descent dynamics on weights that change with the addition of each new hidden layer. We

我们开发一种方法来构造来自表示基本上非线性（或不可连锁的）动态系统的数据集构成低维预测模型，其中具有由有限许多频率的外部强制进行外部矫正的双曲线线性部分。我们的数据驱动，稀疏，非线性模型获得为低维，吸引动力系统的光谱子纤维（SSM）的降低的动态的延长正常形式。我们说明了数据驱动的SSM降低了高维数值数据集的功率和涉及梁振荡，涡旋脱落和水箱中的晃动的实验测量。我们发现，在未加工的数据上培训的SSM减少也在额外的外部强制下准确预测非线性响应。

复发性神经网络（RNN）是用于建模顺序和时间序列数据的广泛机器学习工具。众所周知，他们很难训练，因为他们的损失梯度在训练过程中倾向于饱和或差异。这被称为爆炸和消失的梯度问题。对该问题的先前解决方案要么建立在具有门控内存缓冲区的相当复杂的，专门设计的体系结构上，要么 - 最近 - 施加的约束，以确保收敛到固定点或限制（限制复发矩阵）。然而，这种限制传达了对RNN表现性的严重局限性。绝对的内在动态（例如多稳定性或混乱）被禁用。这本质上是在大自然和社会中遇到的许多（如果不是大多数时间）的混乱性质的脱节性。在科学应用中，尤其是一个旨在重建基本动力学系统的科学应用程序。在这里，我们通过将RNN培训期间的损耗梯度与RNN生成的轨道的lyapunov谱相关联，对该问题提供了全面的理论处理。我们从数学上证明，产生稳定平衡或环状行为的RNN具有有限的梯度，而混沌动力学的RNN梯度总是不同。基于这些分析和见解，我们建议如何根据系统的Lyapunov Spectrum，如何优化混乱数据的训练过程，无论使用的RNN架构如何。

基于近似基础的Koopman操作员或发电机的数据驱动的非线性动力系统模型已被证明是预测，功能学习，状态估计和控制的成功工具。众所周知，用于控制膜系统的Koopman发电机还对输入具有仿射依赖性，从而导致动力学的方便有限维双线性近似。然而，仍然存在两个主要障碍，限制了当前方法的范围，以逼近系统的koopman发电机。首先，现有方法的性能在很大程度上取决于要近似Koopman Generator的基础函数的选择；目前，目前尚无通用方法来为无法衡量保存的系统选择它们。其次，如果我们不观察到完整的状态，我们可能无法访问足够丰富的此类功能来描述动态。这是因为在有驱动时，通常使用时间延迟的可观察物的方法失败。为了解决这些问题，我们将Koopman Generator控制的可观察到的动力学写为双线性隐藏Markov模型，并使用预期最大化（EM）算法确定模型参数。 E-Step涉及标准的Kalman滤波器和更光滑，而M-Step类似于发电机的控制效果模式分解。我们在三个示例上证明了该方法的性能，包括恢复有限的Koopman-Invariant子空间，用于具有缓慢歧管的驱动系统；估计非强制性行驶方程的Koopman本征函数；仅基于提升和阻力的嘈杂观察，对流体弹球系统的模型预测控制。

Echo State Networks (ESN) are a type of Recurrent Neural Networks that yields promising results in representing time series and nonlinear dynamic systems. Although they are equipped with a very efficient training procedure, Reservoir Computing strategies, such as the ESN, require the use of high order networks, i.e. large number of layers, resulting in number of states that is magnitudes higher than the number of model inputs and outputs. This not only makes the computation of a time step more costly, but also may pose robustness issues when applying ESNs to problems such as Model Predictive Control (MPC) and other optimal control problems. One such way to circumvent this is through Model Order Reduction strategies such as the Proper Orthogonal Decomposition (POD) and its variants (POD-DEIM), whereby we find an equivalent lower order representation to an already trained high dimension ESN. The objective of this work is to investigate and analyze the performance of POD methods in Echo State Networks, evaluating their effectiveness. To this end, we evaluate the Memory Capacity (MC) of the POD-reduced network in comparison to the original (full order) ENS. We also perform experiments on two different numerical case studies: a NARMA10 difference equation and an oil platform containing two wells and one riser. The results show that there is little loss of performance comparing the original ESN to a POD-reduced counterpart, and also that the performance of a POD-reduced ESN tend to be superior to a normal ESN of the same size. Also we attain speedups of around $80\%$ in comparison to the original ESN.

预测性编码提供了对皮质功能的潜在统一说明 - 假设大脑的核心功能是最小化有关世界生成模型的预测错误。该理论与贝叶斯大脑框架密切相关，在过去的二十年中，在理论和认知神经科学领域都产生了重大影响。基于经验测试的预测编码的改进和扩展的理论和数学模型，以及评估其在大脑中实施的潜在生物学合理性以及该理论所做的具体神经生理学和心理学预测。尽管存在这种持久的知名度，但仍未对预测编码理论，尤其是该领域的最新发展进行全面回顾。在这里，我们提供了核心数学结构和预测编码的逻辑的全面综述，从而补充了文献中最新的教程。我们还回顾了该框架中的各种经典和最新工作，从可以实施预测性编码的神经生物学现实的微电路到预测性编码和广泛使用的错误算法的重新传播之间的紧密关系，以及对近距离的调查。预测性编码和现代机器学习技术之间的关系。

在本文中，我们考虑了与未知（或部分未知），非平稳性，潜在的嘈杂和混乱的时间演变相关的机器学习（ML）任务，以预测临界点过渡和长期尖端行为动力系统。我们专注于特别具有挑战性的情况，在过去的情况下，过去的动态状态时间序列主要是在状态空间的受限区域中，而要预测的行为会在ML未完全观察到的较大状态空间集中演变出来训练期间的模型。在这种情况下，要求ML预测系统能够推断出在训练过程中观察到的不同动态。我们研究了ML方法在多大程度上能够为此任务完成有用的结果以及它们失败的条件。通常，我们发现即使在极具挑战性的情况下，ML方法也出奇地有效，但是（正如人们所期望的）``需要``太多''的外推。基于科学知识的传统建模的ML方法，因此即使单独采取行动时，我们发现的混合预测系统也可以实现有用的预测。我们还发现，实现有用的结果可能需要使用使用非常仔细选择的ML超参数，我们提出了一个超参数优化策略来解决此问题。本文的主要结论是，基于ML （也许是由于临界点的穿越）包括在训练数据探索的集合中的动态。

We introduce a novel gated recurrent unit (GRU) with a weighted time-delay feedback mechanism in order to improve the modeling of long-term dependencies in sequential data. This model is a discretized version of a continuous-time formulation of a recurrent unit, where the dynamics are governed by delay differential equations (DDEs). By considering a suitable time-discretization scheme, we propose $\tau$-GRU, a discrete-time gated recurrent unit with delay. We prove the existence and uniqueness of solutions for the continuous-time model, and we demonstrate that the proposed feedback mechanism can help improve the modeling of long-term dependencies. Our empirical results show that $\tau$-GRU can converge faster and generalize better than state-of-the-art recurrent units and gated recurrent architectures on a range of tasks, including time-series classification, human activity recognition, and speech recognition.

基于预测方法的深度学习已成为时间序列预测或预测的许多应用中的首选方法，通常通常优于其他方法。因此，在过去的几年中，这些方法现在在大规模的工业预测应用中无处不在，并且一直在预测竞赛（例如M4和M5）中排名最佳。这种实践上的成功进一步提高了学术兴趣，以理解和改善深厚的预测方法。在本文中，我们提供了该领域的介绍和概述：我们为深入预测的重要构建块提出了一定深度的深入预测；随后，我们使用这些构建块，调查了最近的深度预测文献的广度。

重型模型引起了神经网络现代发展的关注。深度平衡模型（DEQ）代表具有重量趋势的无限深度神经网络，最近的研究表明了这种方法的潜力。需要迭代解决训练中的根发现问题，并建立在模型确定的基础动力学基础上，需要DEQ。在本文中，我们介绍了稳定的不变模型（SIM），这是一种新的深层模型，原理在稳定性下近似DEQ，并将动力学扩展到更一般的动力学，从而收敛到不变的集合（不受固定点的限制）。得出SIMS的关键要素是用Koopman和Perron--Frobenius操作员的光谱表示动力学的代表。该视角大致揭示了用DEQS揭示稳定的动力学，然后衍生了两个SIMS的变体。我们还提出了可以以与前馈模型相同的方式学习的SIMS的实现。我们通过实验说明了SIMS的经验表现，并证明SIMS在几个学习任务中对DEQ实现了比较或出色的表现。

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。