Deep Markov Models（DMM）是Markov模型的可扩展和表达概括的生成模型，用于表示，学习和推理问题。但是，这些模型的基本随机稳定性保证尚未得到彻底调查。在本文中，我们提供了在动态系统的背景下定义的DMM随机稳定性的充分条件，并提出了一种基于深神经网络建模的概率地图收缩的稳定性分析方法。我们在具有高斯分布的DMMS的稳定性和整体动态行为的稳定性和整体动态行为之间建立了与高斯分布的稳定性和总体动态行为之间的连接。基于该理论，我们提出了一些具有保证稳定性的受约束DMM的实用方法。我们通过使用所提出的稳定性约束，通过直观的数值实验凭证证实我们的理论结果。

在本文中，我们为通过深神经网络参数参数的离散时间动力学系统的消散性和局部渐近稳定提供了足够的条件。我们利用神经网络作为点式仿射图的表示，从而揭示其本地线性操作员并使其可以通过经典的系统分析和设计方法访问。这使我们能够通过评估其耗散性并估算其固定点和状态空间分区来“打开神经动力学系统行为的黑匣子”。我们将这些局部线性运算符的规范与耗散系统中存储的能量的规范联系起来，其供应率由其总偏差项表示。从经验上讲，我们分析了这些局部线性运算符的动力学行为和特征值光谱的差异，具有不同的权重，激活函数，偏置项和深度。

收缩理论是一种分析工具，用于研究以均匀的正面矩阵定义的收缩度量下的非自主（即，时变）非线性系统的差动动力学，其存在导致增量指数的必要和充分表征多种溶液轨迹彼此相互稳定性的稳定性。通过使用平方差分长度作为Lyapunov样功能，其非线性稳定性分析向下沸腾以找到满足以表达为线性矩阵不等式的稳定条件的合适的收缩度量，表明可以在众所周知的线性系统之间绘制许多平行线非线性系统理论与收缩理论。此外，收缩理论利用了与比较引理结合使用的指数稳定性的优越稳健性。这产生了基于神经网络的控制和估计方案的急需安全性和稳定性保证，而不借助使用均匀渐近稳定性的更涉及的输入到状态稳定性方法。这种独特的特征允许通过凸优化来系统构造收缩度量，从而获得了由于扰动和学习误差而在外部扰动的时变的目标轨迹和解决方案轨迹之间的距离上的明确指数界限。因此，本文的目的是介绍了收缩理论的课程概述及其在确定性和随机系统的非线性稳定性分析中的优点，重点导出了各种基于学习和数据驱动的自动控制方法的正式鲁棒性和稳定性保证。特别是，我们提供了使用深神经网络寻找收缩指标和相关控制和估计法的技术的详细审查。

深度学习的概括分析通常假定训练会收敛到固定点。但是，最近的结果表明，实际上，用随机梯度下降优化的深神经网络的权重通常无限期振荡。为了减少理论和实践之间的这种差异，本文着重于神经网络的概括，其训练动力不一定会融合到固定点。我们的主要贡献是提出一个统计算法稳定性（SAS）的概念，该算法将经典算法稳定性扩展到非convergergent算法并研究其与泛化的联系。与传统的优化和学习理论观点相比，这种崇高的理论方法可导致新的见解。我们证明，学习算法的时间复杂行为的稳定性与其泛化有关，并在经验上证明了损失动力学如何为概括性能提供线索。我们的发现提供了证据表明，即使训练无限期继续并且权重也不会融合，即使训练持续进行训练，训练更好地概括”的网络也是如此。

隐式神经网络是一般的学习模型，可以用隐式代数方程替换传统的馈电模型中的层。与传统学习模型相比，隐式网络提供竞争性能和降低的内存消耗。然而，它们可以对输入对抗性扰动保持脆弱。本文提出了隐式神经网络的稳健性验证的理论和计算框架;我们的框架混合在一起混合单调系统理论和收缩理论。首先，给定隐式神经网络，我们介绍了一个相关的嵌入式网络，并显示，给定$ \ ell_ infty $ -norm框限制对输入，嵌入式网络提供$ \ ell_ \ idty $ -norm box超值给定网络的输出。其次，使用$ \ ell _ {\ infty} $ - 矩阵措施，我们为原始和嵌入式系统的良好提出了足够的条件，并设计了一种迭代算法来计算$ \ e _ {\ infty} $ - norm box鲁棒性利润率和可达性和分类问题。第三，独立价值，我们提出了一种新颖的相对分类器变量，导致认证问题的经过认证的对抗性鲁棒性更严格的界限。最后，我们对在Mnist DataSet上培训的非欧几里德单调运营商网络（Nemon）上进行数值模拟。在这些模拟中，我们比较了我们的混合单调对收缩方法的准确性和运行时间与文献中的现有鲁棒性验证方法，以估算认证的对抗性鲁棒性。

复发性神经网络（RNN）是用于建模顺序和时间序列数据的广泛机器学习工具。众所周知，他们很难训练，因为他们的损失梯度在训练过程中倾向于饱和或差异。这被称为爆炸和消失的梯度问题。对该问题的先前解决方案要么建立在具有门控内存缓冲区的相当复杂的，专门设计的体系结构上，要么 - 最近 - 施加的约束，以确保收敛到固定点或限制（限制复发矩阵）。然而，这种限制传达了对RNN表现性的严重局限性。绝对的内在动态（例如多稳定性或混乱）被禁用。这本质上是在大自然和社会中遇到的许多（如果不是大多数时间）的混乱性质的脱节性。在科学应用中，尤其是一个旨在重建基本动力学系统的科学应用程序。在这里，我们通过将RNN培训期间的损耗梯度与RNN生成的轨道的lyapunov谱相关联，对该问题提供了全面的理论处理。我们从数学上证明，产生稳定平衡或环状行为的RNN具有有限的梯度，而混沌动力学的RNN梯度总是不同。基于这些分析和见解，我们建议如何根据系统的Lyapunov Spectrum，如何优化混乱数据的训练过程，无论使用的RNN架构如何。

Q学习长期以来一直是最受欢迎的强化学习算法之一，几十年来，Q学习的理论分析一直是一个活跃的研究主题。尽管对Q-学习的渐近收敛分析的研究具有悠久的传统，但非肿瘤收敛性直到最近才受到积极研究。本文的主要目的是通过控制系统的观点研究马尔可夫观察模型下异步Q学习的新有限时间分析。特别是，我们引入了Q学习的离散时间变化的开关系统模型，并减少了分析的步骤尺寸，这显着改善了使用恒定步骤尺寸的开关系统分析的最新开发，并导致\（\（\）（\） Mathcal {o} \ left（\ sqrt {\ frac {\ log k} {k}}} \ right）\）\）\）\）\）\）\）\）与大多数艺术状态相当或更好。同时，新应用了使用类似转换的技术，以避免通过减小的步骤尺寸提出的分析中的难度。提出的分析带来了其他见解，涵盖了不同的方案，并提供了新的简化模板，以通过其独特的连接与离散时间切换系统的独特联系来加深我们对Q学习的理解。

本文提出了一种基于匹配不确定性的非线性系统的收缩指标和干扰估计的轨迹中心学习控制方法。该方法允许使用广泛的模型学习工具，包括深神经网络，以学习不确定的动态，同时仍然在整个学习阶段提供瞬态跟踪性能的保证，包括没有学习的特殊情况。在所提出的方法中，提出了一种扰动估计法，以估计不确定性的点值，具有预计估计误差限制（EEB）。学习的动态，估计的紊乱和EEB在强大的黎曼能量条件下并入，以计算控制法，即使学习模型较差，也能保证在整个学习阶段的所需轨迹对所需轨迹的指数趋同。另一方面，具有改进的精度，学习的模型可以在高级计划器中结合，以规划更好的性能，例如降低能耗和更短的旅行时间。建议的框架在平面Quadrotor导航示例上验证。

现代机器学习的高级应用可能涉及培训的网络的组合，如DeepMind的alphago等壮观系统所用的。以有效且稳定的方式递归建立这种组合，同时还允许持续改进各个网络 - 作为生物网络的自然 - 将需要新的分析工具。本文通过建立广泛类别的非线性反复网络和神经杂波的收缩性能，并展示这些量化的性能如何拒绝以系统方式递归地构建稳定的网络网络。结果还可用于稳定地将经常性网络和物理系统组合，具有量化的收缩特性。类似地，它们可以应用于认知的模块化计算模型。我们在基准顺序任务（例如允许的顺序MNIST）上执行这些组合网络的实验，以展示它们以可释放的稳定方式在长时间秒的处理信息的能力。

Learning-enabled control systems have demonstrated impressive empirical performance on challenging control problems in robotics, but this performance comes at the cost of reduced transparency and lack of guarantees on the safety or stability of the learned controllers. In recent years, new techniques have emerged to provide these guarantees by learning certificates alongside control policies -- these certificates provide concise, data-driven proofs that guarantee the safety and stability of the learned control system. These methods not only allow the user to verify the safety of a learned controller but also provide supervision during training, allowing safety and stability requirements to influence the training process itself. In this paper, we provide a comprehensive survey of this rapidly developing field of certificate learning. We hope that this paper will serve as an accessible introduction to the theory and practice of certificate learning, both to those who wish to apply these tools to practical robotics problems and to those who wish to dive more deeply into the theory of learning for control.

我们考虑在离散时间非线性随机控制系统中正式验证几乎核实（A.S.）渐近稳定性的问题。在文献中广泛研究确定性控制系统中的验证稳定性，验证随机控制系统中的验证稳定性是一个开放的问题。本主题的少数现有的作品只考虑专门的瞬间形式，或对系统进行限制性假设，使其无法与神经网络策略的学习算法不适用。在这项工作中，我们提出了一种具有两种新颖方面的一般非线性随机控制问题的方法：（a）Lyapunov函数的经典随机扩展，我们使用排名超大地区（RSMS）来证明〜渐近稳定性，以及（B）我们提出一种学习神经网络RSM的方法。我们证明我们的方法保证了系统的渐近稳定性，并提供了第一种方法来获得稳定时间的界限，其中随机Lyapunov功能不。最后，我们在通过神经网络政策的一套非线性随机强化学习环境上通过实验验证我们的方法。

本文介绍了最近在文献中引入的二次神经网络的分析和设计，以及它们在动态系统的回归，分类，系统识别和控制中的应用。这些网络提供了几个优点，其中最重要的是该体系结构是设计的副产品，尚未确定a-priori，可以通过解决凸优化问题来完成他们的培训可以实现权重，并且输入输出映射可以通过二次形式在分析上表示。从几个示例中也可以看出，这些网络仅使用一小部分培训数据就可以很好地工作。纸质铸造回归，分类，系统识别，稳定性和控制设计作为凸优化问题的结果，可以用多项式时间算法有效地求解到全局最佳。几个示例将显示二次神经网络在应用中的有效性。

我们通过投影仪操作员研究较大尺寸的连续动态系统的嵌入。我们称这种技术PED，动态系统的投影嵌入，因为动态的稳定固定点通过从较高尺寸空间的投影回收。在本文中，我们提供了一种通用定义，并证明对于特定类型的Rank-1的投影仪操作者，均匀的平均场投影仪，运动方程成为动态系统的平均场逼近。虽然一般来说，嵌入取决于指定的变量排序，但对于均匀平均字段投影仪而不是真的。此外，我们证明原始稳定的固定点保持稳定的动态的定点，鞍点保持鞍座，但不稳定的固定点变成马鞍。

We develop new theoretical results on matrix perturbation to shed light on the impact of architecture on the performance of a deep network. In particular, we explain analytically what deep learning practitioners have long observed empirically: the parameters of some deep architectures (e.g., residual networks, ResNets, and Dense networks, DenseNets) are easier to optimize than others (e.g., convolutional networks, ConvNets). Building on our earlier work connecting deep networks with continuous piecewise-affine splines, we develop an exact local linear representation of a deep network layer for a family of modern deep networks that includes ConvNets at one end of a spectrum and ResNets, DenseNets, and other networks with skip connections at the other. For regression and classification tasks that optimize the squared-error loss, we show that the optimization loss surface of a modern deep network is piecewise quadratic in the parameters, with local shape governed by the singular values of a matrix that is a function of the local linear representation. We develop new perturbation results for how the singular values of matrices of this sort behave as we add a fraction of the identity and multiply by certain diagonal matrices. A direct application of our perturbation results explains analytically why a network with skip connections (such as a ResNet or DenseNet) is easier to optimize than a ConvNet: thanks to its more stable singular values and smaller condition number, the local loss surface of such a network is less erratic, less eccentric, and features local minima that are more accommodating to gradient-based optimization. Our results also shed new light on the impact of different nonlinear activation functions on a deep network's singular values, regardless of its architecture.

本文提出了一个理论和计算框架，用于基于非欧几里得收缩理论对隐式神经网络的训练和鲁棒性验证。基本思想是将神经网络的鲁棒性分析作为可及性问题，使用（i）$ \ ell _ {\ infty} $ - norm inort input-utput-optup-utput lipschitz常数和（ii）网络的紧密包含函数到过度陈列在其可达集合中。首先，对于给定的隐式神经网络，我们使用$ \ ell _ {\ infty} $ - 矩阵测量方法来为其适应性良好的条件提出足够的条件，设计一种迭代算法来计算其固定点，并为其$ \提供上限ell_ \ infty $ -Norm输入输出Lipschitz常数。其次，我们介绍了一个相关的嵌入式网络，并表明嵌入式网络可用于提供原始网络的可触及式集合的$ \ ell_ \ infty $ -Norm Box过度交配。此外，我们使用嵌入式网络来设计一种迭代算法，用于计算原始系统紧密包含函数的上限。第三，我们使用Lipschitz常数的上限和紧密包含函数的上限来设计两种算法，以训练和稳健性验证隐式神经网络。最后，我们应用算法在MNIST数据集上训练隐式神经网络，并将模型的鲁棒性与通过文献中现有方法训练的模型进行比较。

The logit outputs of a feedforward neural network at initialization are conditionally Gaussian, given a random covariance matrix defined by the penultimate layer. In this work, we study the distribution of this random matrix. Recent work has shown that shaping the activation function as network depth grows large is necessary for this covariance matrix to be non-degenerate. However, the current infinite-width-style understanding of this shaping method is unsatisfactory for large depth: infinite-width analyses ignore the microscopic fluctuations from layer to layer, but these fluctuations accumulate over many layers. To overcome this shortcoming, we study the random covariance matrix in the shaped infinite-depth-and-width limit. We identify the precise scaling of the activation function necessary to arrive at a non-trivial limit, and show that the random covariance matrix is governed by a stochastic differential equation (SDE) that we call the Neural Covariance SDE. Using simulations, we show that the SDE closely matches the distribution of the random covariance matrix of finite networks. Additionally, we recover an if-and-only-if condition for exploding and vanishing norms of large shaped networks based on the activation function.

神经网络（NNS）已成功地用于代表复杂动力学系统的状态演变。这样的模型，称为NN动态模型（NNDMS），使用NN的迭代噪声预测来估计随时间推移系统轨迹的分布。尽管它们的准确性，但对NNDMS的安全分析仍然是一个具有挑战性的问题，并且在很大程度上尚未探索。为了解决这个问题，在本文中，我们介绍了一种为NNDM提供安全保证的方法。我们的方法基于随机屏障函数，其与安全性的关系类似于Lyapunov功能的稳定性。我们首先展示了通过凸优化问题合成NNDMS随机屏障函数的方法，该问题又为系统的安全概率提供了下限。我们方法中的一个关键步骤是，NNS的最新凸近似结果的利用是找到零件线性边界，这允许将屏障函数合成问题作为一个方形优化程序的制定。如果获得的安全概率高于所需的阈值，则该系统将获得认证。否则，我们引入了一种生成控制系统的方法，该系统以最小的侵入性方式稳健地最大化安全概率。我们利用屏障函数的凸属性来提出最佳控制合成问题作为线性程序。实验结果说明了该方法的功效。即，他们表明该方法可以扩展到具有多层和数百个神经元的多维NNDM，并且控制器可以显着提高安全性概率。

影响模型预测控制（MPC）策略的神经网络（NN）近似的常见问题是缺乏分析工具来评估基于NN的控制器的动作下闭环系统的稳定性。我们介绍了一种通用过程来量化这种控制器的性能，或者设计具有整流的线性单元（Relus）的最小复杂性NN，其保留给定MPC方案的理想性质。通过量化基于NN和基于MPC的状态到输入映射之间的近似误差，我们首先建立适当的条件，涉及两个关键量，最坏情况误差和嘴唇截止恒定，保证闭环系统的稳定性。然后，我们开发了一个离线，混合整数的基于优化的方法，以确切地计算这些数量。这些技术共同提供足以认证MPC控制法的基于Relu的近似的稳定性和性能的条件。

用于未知非线性系统的学习和合成稳定控制器是现实世界和工业应用的具有挑战性问题。 Koopman操作员理论允许通过直线系统和非线性控制系统的镜头通过线性系统和非线性控制系统的镜头来分析非线性系统。这些方法的关键思想，在于将非线性系统的坐标转换为Koopman可观察，这是允许原始系统（控制系统）作为更高尺寸线性（双线性控制）系统的坐标。然而，对于非线性控制系统，通过应用基于Koopman操作员的学习方法获得的双线性控制模型不一定是稳定的，因此，不保证稳定反馈控制的存在，这对于许多真实世界的应用来说是至关重要的。同时识别基于这些可稳定的Koopman的双线性控制系统以及相关的Koopman可观察到仍然是一个开放的问题。在本文中，我们提出了一个框架，以通过同时学习为基于Koopman的底层未知的非线性控制系统以及基于Koopman的控制Lyapunov函数（CLF）来识别和构造这些可稳定的双线性模型及其相关的可观察能力。双线性模型使用学习者和伪空。我们提出的方法从而为非线性控制系统具有未知动态的非线性控制系统提供了可证明的全球渐近稳定性的保证。提供了数值模拟，以验证我们提出的稳定反馈控制器为未知的非线性系统的效力。

我们提出了一种用于构建线性时间不变（LTI）模型的新颖框架，用于一类稳定的非线性动态的Koopman运算符的数据驱动表示。 Koopman操作员（发电机）将有限维非线性系统升压到可能无限的线性特征空间。为了利用它来建模，需要发现Koopman运算符的有限维表示。学习合适的功能是具有挑战性的，因为一种需要学习koopman-invariant（在动态下线性演变的LTI功能以及相关（跨越原始状态） - 一般无监督的学习任务。对于这个问题的理论上是良好的解决方案，我们通过用潜伏的线性模型的提升的聚集体系来组合扩散综合学习者来提出学习Koopman-Invoriant坐标。使用稳定矩阵的无约束参数化以及上述特征结构，我们学习Koopman操作员特征而不假设预定义的功能库或了解频谱，同时确保操作员近似精度而确保稳定性。我们展示了所提出的方法与众所周知的LASA手写数据集上的最先进方法的卓越效果。