备忘录是一种非线性的两端电气元件，具有内存特征和纳米级特性，使我们能够设计出非常高密度的人工神经网络。为了增强内存属性，我们应该使用能够这样做的数学框架等数学框架。在这里，我们首先提出了两个神经元上的分数阶突触耦合Hopfield神经网络，然后将模型扩展到具有环形结构的神经网络，该神经网络由N子网络神经元组成，从而增加了网络中的同步。研究了平衡点稳定性的必要条件，突出了稳定性对分数值值和神经元数的依赖性。数值模拟和分叉分析以及Lyapunov指数在两种神经元的情况下进行了证实，该情况证实了理论发现，表明当系统的分数增加时，可能会导致混乱的途径。在N-Neuron情况下，据揭示了稳定性取决于子网络的结构和数量。
translated by 谷歌翻译
具有复发性不对称耦合的神经网络对于了解如何在大脑中编码情节记忆很重要。在这里，我们将广泛的突触整合窗口的实验性观察整合到连续时间动力学中的序列检索模型中。理论上通过得出神经动力学中的雅可比矩阵的随机基质理论来研究具有非正态神经元相互作用的模型。这些光谱具有几个不同的特征，例如围绕原点的旋转对称性以及光谱边界内嵌套空隙的出现。因此，光谱密度高度不均匀地分布在复杂平面中。随机矩阵理论还可以预测过渡到混乱。特别是，混乱的边缘为记忆的顺序检索提供了计算益处。我们的工作提供了与任意时间延迟的时间隔离相关性的系统研究，因此可以激发对广泛记忆模型的未来研究，甚至可以激发生物学时间序列的大数据分析。
translated by 谷歌翻译
在本文中，我们为通过深神经网络参数参数的离散时间动力学系统的消散性和局部渐近稳定提供了足够的条件。我们利用神经网络作为点式仿射图的表示，从而揭示其本地线性操作员并使其可以通过经典的系统分析和设计方法访问。这使我们能够通过评估其耗散性并估算其固定点和状态空间分区来“打开神经动力学系统行为的黑匣子”。我们将这些局部线性运算符的规范与耗散系统中存储的能量的规范联系起来，其供应率由其总偏差项表示。从经验上讲，我们分析了这些局部线性运算符的动力学行为和特征值光谱的差异，具有不同的权重，激活函数，偏置项和深度。
translated by 谷歌翻译
本文涉及一种特殊类型的Lyapunov功能，即Zubov方程的解决方案。这种功能可用于表征常微分方程的系统的吸引领域。我们派生并证明了Zubov等式的一体形式解决方案。对于数值计算，我们开发了两个数据驱动方法。一个基于差分方程的增强系统的集成;另一个是基于深度学习。前者对于具有相对低的状态空间尺寸的系统是有效的，并且后者是为高维问题开发的。深度学习方法应用于新英格兰10发电机电力系统模型。我们证明了电力系统的Lyapunov功能存在神经网络近似，使得近似误差是发电机数量的立方多项式。证明了作为n的函数的误差收敛速率，是神经元数量的函数。
translated by 谷歌翻译
经常性神经网络（RNNS）是强大的动态模型，广泛用于机器学习（ML）和神经科学。之前的理论作品集中在具有添加剂相互作用的RNN上。然而，门控 - 即乘法 - 相互作用在真神经元中普遍存在，并且也是ML中最佳性能RNN的中心特征。在这里，我们表明Gating提供灵活地控制集体动态的两个突出特征：i）时间尺寸和ii）维度。栅极控制时间尺度导致新颖的稳定状态，网络用作灵活积分器。与以前的方法不同，Gating允许这种重要功能而没有参数微调或特殊对称。门还提供一种灵活的上下文相关机制来重置存储器跟踪，从而补充存储器功能。调制维度的栅极可以诱导新颖的不连续的混沌转变，其中输入将稳定的系统推向强的混沌活动，与通常稳定的输入效果相比。在这种转变之上，与添加剂RNN不同，关键点（拓扑复杂性）的增殖与混沌动力学的外观解耦（动态复杂性）。丰富的动态总结在相图中，从而为ML从业者提供了一个原理参数初始化选择的地图。
translated by 谷歌翻译
我们通过投影仪操作员研究较大尺寸的连续动态系统的嵌入。我们称这种技术PED，动态系统的投影嵌入，因为动态的稳定固定点通过从较高尺寸空间的投影回收。在本文中，我们提供了一种通用定义，并证明对于特定类型的Rank-1的投影仪操作者，均匀的平均场投影仪，运动方程成为动态系统的平均场逼近。虽然一般来说，嵌入取决于指定的变量排序，但对于均匀平均字段投影仪而不是真的。此外，我们证明原始稳定的固定点保持稳定的动态的定点，鞍点保持鞍座，但不稳定的固定点变成马鞍。
translated by 谷歌翻译
简单的动态模型可以在大型网络中产生复杂的行为。这些行为通常可以在由网络网络捕获的各种物理系统中观察到。在这里，我们描述了一种现象，其中尺寸自始终产生由于动力学不稳定性而产生的力场。这可以被理解为在有效潜力的最小值之间的不稳定（“隆隆声”）隧道机构。我们将该集体和非触发效果成为“Lyapunov力”，即使完整系统具有与系统尺寸指数呈指数呈指数呈指数增长的均衡点的星座，使系统朝向全局最小的潜在功能。我们研究的系统具有简单的映射到流量网络，其等于电流驱动的映像器。该机制在纳米级物理学中对其物理相关性进行了吸引力，以及在优化中可能的应用，新颖的蒙特卡罗方案和机器学习。
translated by 谷歌翻译
我们开发一种方法来构造来自表示基本上非线性（或不可连锁的）动态系统的数据集构成低维预测模型，其中具有由有限许多频率的外部强制进行外部矫正的双曲线线性部分。我们的数据驱动，稀疏，非线性模型获得为低维，吸引动力系统的光谱子纤维（SSM）的降低的动态的延长正常形式。我们说明了数据驱动的SSM降低了高维数值数据集的功率和涉及梁振荡，涡旋脱落和水箱中的晃动的实验测量。我们发现，在未加工的数据上培训的SSM减少也在额外的外部强制下准确预测非线性响应。
translated by 谷歌翻译
学习如何随着时间的推移发展复杂的动态系统是系统识别中的关键挑战。对于安全关键系统，它通常是至关重要的，因为学习的模型保证会聚到一些均衡点。为此，当完全观察到各种时，用神经拉布诺夫函数规范的神经杂物是一种有希望的方法。然而，对于实际应用，部分观察是常态。正如我们将证明，未观察到的增强状态的初始化可能成为神经杂物余下的关键问题。为了减轻这个问题，我们建议增加该系统的历史历史。通过国家增强在离散时间系统中的启发，我们得到了神经延迟微分方程。基于古典时间延迟稳定性分析，我们展示了如何确保学习模型的稳定性，从理论上分析我们的方法。我们的实验表明其适用于稳定的系统识别部分观察到的系统和学习延迟反馈控制中的稳定反馈策略。
translated by 谷歌翻译
在存在白噪声的情况下，在各个科学领域，在存在白噪声的情况下逃脱吸引盆地的平均退出时间至关重要。在这项工作中，我们提出了一种策略，以控制一般随机动力学系统的平均退出时间，以基于准潜电概念和机器学习实现所需的价值。具体而言，我们开发了一个神经网络体系结构来计算全局准次电位函数。然后，我们设计了一种系统的迭代数值算法来计算给定平均退出时间的控制器。此外，我们在有效的汉密尔顿 - 雅各比计划和受过训练的神经网络的帮助下确定了亚稳态吸引子之间的最可能路径。数值实验表明，我们的控制策略是有效且足够准确的。
translated by 谷歌翻译
提出了一种使用神经网络从顺序数据中学习时间延迟系统动力学的新型方法。具有训练延迟的神经网络用于近似延迟微分方程的右侧。我们通过离散时间历史记录并训练相应的神经普通微分方程（节点）来学习动力学，将延迟微分方程与普通微分方程联系起来。给出了使用Chaotic行为数据学习Mackey-Glass方程动力学的示例。在学习了非线性和时间延迟之后，我们证明了神经网络的分叉图与原始系统的分叉图相匹配。
translated by 谷歌翻译
Deep Markov Models（DMM）是Markov模型的可扩展和表达概括的生成模型，用于表示，学习和推理问题。但是，这些模型的基本随机稳定性保证尚未得到彻底调查。在本文中，我们提供了在动态系统的背景下定义的DMM随机稳定性的充分条件，并提出了一种基于深神经网络建模的概率地图收缩的稳定性分析方法。我们在具有高斯分布的DMMS的稳定性和整体动态行为的稳定性和整体动态行为之间建立了与高斯分布的稳定性和总体动态行为之间的连接。基于该理论，我们提出了一些具有保证稳定性的受约束DMM的实用方法。我们通过使用所提出的稳定性约束，通过直观的数值实验凭证证实我们的理论结果。
translated by 谷歌翻译
动态系统广泛用于科学和工程，以模拟由多个交互组件组成的系统。通常，它们可以在意义上给出因果解释，因为它们不仅模拟了系统组件状态随时间的演变，而且描述了他们的进化如何受到动态的系统的外部干预的影响。我们介绍了结构动态因果模型（SDCMS）的正式框架，其将系统组件的因果语言作为模型的一部分来阐述。 SDCMS表示动态系统作为随机过程的集合，并指定了管理每个组件的动态的基本因果机制，作为任意顺序的随机微分方程的结构化系统。 SDCMS扩展了结构因果模型（SCM）的多功能因果建模框架，也称为结构方程模型（SEM），通过显式允许时间依赖。 SDCM可以被认为是SCM的随机过程版本，其中SCM的静态随机变量由动态随机过程及其衍生物代替。我们为SDCMS理论提供基础，（i）正式定义SDCMS，其解决方案，随机干预和图形表示; （ii）对初始条件的解决方案的存在性和独特性; （iii）随着时间的推移倾向于无穷大，讨论SDCMS平衡的条件下降; （iv）将SDCM的性质与平衡SCM的性质相关联。这封对应关系使人们能够在研究大类随机动力系统的因果语义时利用SCM的大量统计工具和发现方法。该理论用来自不同科学域的几个众所周知的示例进行说明。
translated by 谷歌翻译
非线性自适应控制理论中的一个关键假设是系统的不确定性可以在一组已知基本函数的线性跨度中表示。虽然该假设导致有效的算法，但它将应用限制为非常特定的系统类别。我们介绍一种新的非参数自适应算法，其在参数上学习无限尺寸密度，以取消再现内核希尔伯特空间中的未知干扰。令人惊讶的是，所产生的控制输入承认，尽管其底层无限尺寸结构，但是尽管它的潜在无限尺寸结构实现了其实施的分析表达。虽然这种自适应输入具有丰富和富有敏感性的 - 例如，传统的线性参数化 - 其计算复杂性随时间线性增长，使其比其参数对应力相对较高。利用随机傅里叶特征的理论，我们提供了一种有效的随机实现，该实现恢复了经典参数方法的复杂性，同时可透明地保留非参数输入的表征性。特别地，我们的显式范围仅取决于系统的基础参数，允许我们所提出的算法有效地缩放到高维系统。作为该方法的说明，我们展示了随机近似算法学习由牛顿重力交互的十点批量组成的60维系统的预测模型的能力。
translated by 谷歌翻译
我们考虑受限制的Boltzmann机器（RBMS）在非结构化的数据集上培训，由虚构的数据集进行，该数据集由明确的模糊但不可用的“原型”，我们表明，RBM可以学习原型的临界样本大小，即机器可以成功播放作为一种生成模型或作为分类器，根据操作程序。通常，评估关键的样本大小（可能与数据集的质量相关）仍然是机器学习中的一个开放问题。在这里，限制随机理论，其中浅网络就足够了，大母细胞场景是正确的，我们利用RBM和Hopfield网络之间的正式等价，以获得突出区域中突出区域的神经架构的相图控制参数（即，原型的数量，训练集的训练集的神经元数量，大小和质量的数量），其中可以实现学习。我们的调查是通过基于无序系统的统计学机械的分析方法领导的，结果通过广泛的蒙特卡罗模拟进一步证实。
translated by 谷歌翻译
神经普通微分方程模型的动态系统，\ textit {ode}由神经网络学习。但是，ODE从根本上是不足以建模具有长期依赖性或不连续性的系统，这些系统在工程和生物系统中很常见。已经提出了更广泛的微分方程（DE）类作为补救措施，包括延迟微分方程和整数差异方程。此外，当通过分段强迫函数对硬质量和odes进行建模时，神经颂歌会遭受数值的不稳定性。在这项工作中，我们提出了\ textit {neural laplace}，这是一个学习不同类别的统一框架，包括上述所有类别。我们没有在时间域中对动态进行建模，而是在拉普拉斯域中对其进行建模，在拉普拉斯域中，可以将历史依赖性和时间的不连续性表示为复杂指数的求和。为了提高学习效率，我们使用Riemann Sphere的几何立体图来诱导Laplace域中的平滑度。在实验中，神经拉普拉斯在建模和推断DES类别的轨迹方面表现出卓越的性能，包括具有复杂历史依赖性和突然变化的DES类别。
translated by 谷歌翻译
通过连续静态状态反馈诱导的任务是在本文中考虑了非线性控制系统中的渐近稳定的杂核轨道。主要动机来自确保在欠抖动的机械系统中对所谓的点对点机动的收敛的问题。即，在其状态控制空间中平滑曲线，这与系统动态一致，并连接两个（线性）稳定的平衡点。该方法使用特定的参数化，以及在机动上的状态投影，以便为此目的结合两个线性化技术：沿轨道的边界的均衡和横向线性化的雅蟒线性化。这允许通过求解半纤维编程问题来计算稳定控制增益。由此产生的非线性控制器同时渐近轨道稳定轨道和最终平衡，是局部LipsChitz连续的时间不变，不需要切换，并且具有熟悉的馈送加上反馈状结构。该方法还通过基于同步函数的参数来互补，用于规划具有一定程度的疏松的机械系统的机械系统。 “蝴蝶”机器人在两点之间的球滚动的非预先生操纵任务的数值模拟证明了合成的功效。
translated by 谷歌翻译
复发性神经网络（RNN）是用于建模顺序和时间序列数据的广泛机器学习工具。众所周知，他们很难训练，因为他们的损失梯度在训练过程中倾向于饱和或差异。这被称为爆炸和消失的梯度问题。对该问题的先前解决方案要么建立在具有门控内存缓冲区的相当复杂的，专门设计的体系结构上，要么 - 最近 - 施加的约束，以确保收敛到固定点或限制（限制复发矩阵）。然而，这种限制传达了对RNN表现性的严重局限性。绝对的内在动态（例如多稳定性或混乱）被禁用。这本质上是在大自然和社会中遇到的许多（如果不是大多数时间）的混乱性质的脱节性。在科学应用中，尤其是一个旨在重建基本动力学系统的科学应用程序。在这里，我们通过将RNN培训期间的损耗梯度与RNN生成的轨道的lyapunov谱相关联，对该问题提供了全面的理论处理。我们从数学上证明，产生稳定平衡或环状行为的RNN具有有限的梯度，而混沌动力学的RNN梯度总是不同。基于这些分析和见解，我们建议如何根据系统的Lyapunov Spectrum，如何优化混乱数据的训练过程，无论使用的RNN架构如何。
translated by 谷歌翻译
在许多科学学科中，我们有兴趣推断一组观察到的时间序列的非线性动力学系统，这是面对混乱的行为和噪音，这是一项艰巨的任务。以前的深度学习方法实现了这一目标，通常缺乏解释性和障碍。尤其是，即使基本动力学生存在较低维的多种多样的情况下，忠实嵌入通常需要的高维潜在空间也会阻碍理论分析。在树突计算的新兴原则的推动下，我们通过线性样条基础扩展增强了动态解释和数学可牵引的分段线性（PL）复发性神经网络（RNN）。我们表明，这种方法保留了简单PLRNN的所有理论上吸引人的特性，但在相对较低的尺寸中提高了其近似任意非线性动态系统的能力。我们采用两个框架来训练该系统，一个将反向传播的时间（BPTT）与教师强迫结合在一起，另一个将基于快速可扩展的变异推理的基础。我们表明，树枝状扩展的PLRNN可以在各种动力学系统基准上获得更少的参数和尺寸，并与其他方法进行比较，同时保留了可拖动和可解释的结构。
translated by 谷歌翻译
在本文中，我们提出了一个新型的非线性观察者，称为神经观察者，以通过将神经网络（NN）引入观察者的设计，以实现线性时间传播（LTI）系统的观察任务和不确定的非线性系统。通过探索NN代表向NN映射矢量的方法，我们从LTI和不确定的非线性系统中得出了稳定性分析（例如，指数收敛速率），这些系统仅使用线性矩阵不平等（LMIS）为解决观察问题铺平了道路。值得注意的是，为不确定系统设计的神经观察者基于主动扰动拒绝控制（ADRC）的意识形态，该思想可以实时测量不确定性。 LMI结果也很重要，因为我们揭示了LMI溶液存在系统矩阵的可观察性和可控性。最后，我们在三个模拟案例上验证神经观察者的可用性，包括X-29A飞机模型，非线性摆和四轮转向车辆。
translated by 谷歌翻译