我们调查使用扩展卡尔曼滤波来训练用于数据驱动非线性，可能自适应的基于模型的控制设计的经常性神经网络。我们表明该方法可以应用于网络参数的相当任意的凸损函数和正则化术语。我们表明，学习方法在非线性系统识别基准测试中占据了在非线性系统识别基准中的随机梯度下降，以及培训具有二进制输出的线性系统。我们还探讨了数据驱动非线性模型预测控制算法及其与无偏移跟踪的干扰模型的关系。
translated by 谷歌翻译
在本文中，我们提出了SC-REG（自助正规化）来学习过共同的前馈神经网络来学习\ EMPH {牛顿递减}框架的二阶信息进行凸起问题。我们提出了具有自助正规化（得分-GGN）算法的广义高斯 - 牛顿，其每次接收到新输入批处理时都会更新网络参数。所提出的算法利用Hessian矩阵中的二阶信息的结构，从而减少训练计算开销。虽然我们的目前的分析仅考虑凸面的情况，但数值实验表明了我们在凸和非凸面设置下的方法和快速收敛的效率，这对基线一阶方法和准牛顿方法进行了比较。
translated by 谷歌翻译
人工神经网络（ANN）训练景观的非凸起带来了固有的优化困难。虽然传统的背传播随机梯度下降（SGD）算法及其变体在某些情况下是有效的，但它们可以陷入杂散的局部最小值，并且对初始化和普通公共表敏感。最近的工作表明，随着Relu激活的ANN的培训可以重新重整为凸面计划，使希望能够全局优化可解释的ANN。然而，天真地解决凸训练制剂具有指数复杂性，甚至近似启发式需要立方时间。在这项工作中，我们描述了这种近似的质量，并开发了两个有效的算法，这些算法通过全球收敛保证培训。第一算法基于乘法器（ADMM）的交替方向方法。它解决了精确的凸形配方和近似对应物。实现线性全局收敛，并且初始几次迭代通常会产生具有高预测精度的解决方案。求解近似配方时，每次迭代时间复杂度是二次的。基于“采样凸面”理论的第二种算法更简单地实现。它解决了不受约束的凸形制剂，并收敛到大约全球最佳的分类器。当考虑对抗性培训时，ANN训练景观的非凸起加剧了。我们将稳健的凸优化理论应用于凸训练，开发凸起的凸起制剂，培训Anns对抗对抗投入。我们的分析明确地关注一个隐藏层完全连接的ANN，但可以扩展到更复杂的体系结构。
translated by 谷歌翻译
许多操作数值天气预报系统中使用的数据同化程序基于4D-VAR算法的变体。解决4D-VAR问题的成本是由物理模型的前进和伴随评估的成本为主。这通过快速，近似代理模型来激励他们的替代。神经网络为代理模型的数据驱动创建提供了一个有希望的方法。已显示代理4D-VAR问题解决方案的准确性，明确地依赖于对其他代理建模方法和一般非线性设置的准确建模和伴随的准确建模。我们制定和分析若干方法，将衍生信息纳入神经网络替代品的构建。通过训练集数据和Lorenz-63系统上的顺序数据同化设置来测试生成的网络。与没有伴随信息的替代网络培训的代理网络相比，两种方法表现出卓越的性能，显示将伴随信息纳入训练过程的益处。
translated by 谷歌翻译
本文旨在讨论和分析控制设计应用中经常性神经网络（RNN）的潜力。考虑RNN的主要系列，即神经非线性自回归外源，（NNARX），回波状态网络（ESN），长短短期存储器（LSTM）和门控复发单元（GRU）。目标是双重。首先，为了调查近期RNN培训的结果，可以享受输入到状态稳定性（ISS）和增量输入到状态稳定性（{\ delta} ISS）保证。其次，讨论仍然阻碍RNN进行控制的问题，即它们的鲁棒性，核算和解释性。前者属性与网络的所谓概括能力有关，即即使在视野或扰动的输入轨迹存在下，它们与底层真实植物的一致性。后者与在RNN模型和植物之间提供明确的正式连接的可能性有关。在这种情况下，我们说明了Iss和{\ delta} ISS如何朝着RNN模型的稳健性和可验证代表重大步骤，而可解释性的要求铺平了基于物理的网络的使用方式。还简要讨论了植物模型的模型预测控制器的设计。最后，在模拟化学体系上说明了本文的一些主要话题。
translated by 谷歌翻译
深度学习的最新进展使神经网络（NNS）能够在许多应用中成功地取代传统的数控求解器，从而实现令人印象深刻的计算收益。一个这样的应用是时域模拟，这对于许多工程系统的设计，分析和操作是必不可少的。模拟基于牛顿的求解器的动态系统是一种计算繁忙的任务，因为它需要在每个时间步骤解决差分和代数方程的参数化系统的解决方案。已经显示了各种基于NN的方法，以成功地近似于数值溶剂计算的轨迹。但是，以前的一些工程已经使用NNS来模拟数值求解器本身。为了快速加速时域模拟速度的表达目的，本文提出并探索了两个互补的替代数字溶剂。首先，我们使用NN以模仿由逆雅加诺在单个牛顿步骤中提供的线性变换。使用此过程，我们评估并将基于物理的残余错误评估并将基于NN映射的确切，物理的残留错误项目进行评估并将其留下物理为“循环”中的“循环”。所得到的工具称为物理投影的神经 - 牛顿求解器（Prenn），能够在观察到的速度下实现极高的数值准确度，其比基于牛顿的求解器更快地高达31％。在第二种方法中，我们将牛顿求解器在隐式跳动-Kutta积分器的核心上模拟，作为一个契约地图，迭代地寻求时域轨迹的一个固定点。相关的复发性NN仿真工具被称为合同神经牛顿求解器（Conns），嵌入有训练约束（通过CVXPY层），该训练约束（通过CVXPY层），保证NN提供的映射满足BANACH定点定理。
translated by 谷歌翻译
基于梯度的高参数调整的优化方法可确保理论收敛到固定解决方案时，对于固定的上层变量值，双光线程序的下层级别强烈凸（LLSC）和平滑（LLS）。对于在许多机器学习算法中调整超参数引起的双重程序，不满足这种情况。在这项工作中，我们开发了一种基于不精确度（VF-IDCA）的基于依次收敛函数函数算法。我们表明，该算法从一系列的超级参数调整应用程序中实现了无LLSC和LLS假设的固定解决方案。我们的广泛实验证实了我们的理论发现，并表明，当应用于调子超参数时，提出的VF-IDCA会产生较高的性能。
translated by 谷歌翻译
近年来，已经引入了几种针对神经状态空间模型的系统识别算法。大多数提出的方法旨在通过对从较长训练数据集提取的简短子序列进行优化来降低学习问题的计算复杂性。然后在Minibatch中同时处理不同的序列，利用现代的并行硬件进行深度学习。在这些方法中产生的问题是需要为每个子序列分配一个初始状态，这是运行模拟并因此评估拟合损失所必需的。在本文中，我们为基于广泛的实验和对两个公认的系统识别基准进行的分析提供了校准神经状态空间训练算法的见解。特定的重点是最初状态估计的选择和作用。我们证明，实际上需要先进的初始状态估计技术来在某些类别的动态系统上实现高性能，而对于渐近稳定的基本程序，例如零或随机初始化，已经产生了竞争性能。
translated by 谷歌翻译
约束的张量和矩阵分子化模型允许从多道数据中提取可解释模式。因此，对于受约束的低秩近似度的可识别性特性和有效算法是如此重要的研究主题。这项工作涉及低秩近似的因子矩阵的列，以众所周知的和可能的过度顺序稀疏，该模型包括基于字典的低秩近似（DLRA）。虽然早期的贡献集中在候选列字典内的发现因子列，即一稀疏的近似值，这项工作是第一个以大于1的稀疏性解决DLRA。我建议专注于稀疏编码的子问题，在解决DLRA时出现的混合稀疏编码（MSC）以交替的优化策略在解决DLRA时出现。提供了基于稀疏编码启发式的几种算法（贪婪方法，凸起放松）以解决MSC。在模拟数据上评估这些启发式的性能。然后，我展示了如何基于套索来调整一个有效的MSC求解器，以计算高光谱图像处理和化学测量学的背景下的基于词典的基于矩阵分解和规范的多adic分解。这些实验表明，DLRA扩展了低秩近似的建模能力，有助于降低估计方差并提高估计因子的可识别性和可解释性。
translated by 谷歌翻译
物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。
translated by 谷歌翻译
近期在应用于培训深度神经网络和数据分析中的其他优化问题中的非凸优化的优化算法的兴趣增加，我们概述了最近对非凸优化优化算法的全球性能保证的理论结果。我们从古典参数开始，显示一般非凸面问题无法在合理的时间内有效地解决。然后，我们提供了一个问题列表，可以通过利用问题的结构来有效地找到全球最小化器，因为可能的问题。处理非凸性的另一种方法是放宽目标，从找到全局最小，以找到静止点或局部最小值。对于该设置，我们首先为确定性一阶方法的收敛速率提出了已知结果，然后是最佳随机和随机梯度方案的一般理论分析，以及随机第一阶方法的概述。之后，我们讨论了非常一般的非凸面问题，例如最小化$ \ alpha $ -weakly-are-convex功能和满足Polyak-lojasiewicz条件的功能，这仍然允许获得一阶的理论融合保证方法。然后，我们考虑更高阶和零序/衍生物的方法及其收敛速率，以获得非凸优化问题。
translated by 谷歌翻译
我们研究了科学计算的数值算法的元学习，它将一般算法结构的数学驱动，手工设计与特定的任务类的数据驱动的适应相结合。这表示从数值分析中的经典方法的偏离，这通常不具有这种基于学习的自适应。作为一个案例研究，我们开发了一种机器学习方法，基于Runge-Kutta（RK）Integrator架构，自动学习用于常用方程式（ODES）形式的初始值问题的有效求解器。通过组合神经网络近似和元学习，我们表明我们可以获得针对目标差分方程系的高阶集成商，而无需手头计算积分器系数。此外，我们证明，在某些情况下，我们可以获得古典RK方法的卓越性能。这可以归因于通过该方法识别和利用ode系列的某些属性。总的来说，这项工作展示了基于学习的基于学习的方法，用于设计差分方程的数值解的算法，一种方法可以容易地扩展到其他数值任务。
translated by 谷歌翻译
最近有兴趣的兴趣在教师学生环境中的各种普遍性线性估计问题中的渐近重建性能研究，特别是对于I.I.D标准正常矩阵的案例。在这里，我们超越这些矩阵，并证明了具有具有任意界限频谱的旋转不变数据矩阵的凸遍的线性模型的重建性能的分析公式，严格地确认使用来自统计物理的副本衍生的猜想。该公式包括许多问题，例如压缩感测或稀疏物流分类。通过利用消息通过算法和迭代的统计特性来实现证明，允许表征估计器的渐近实证分布。我们的证据是基于构建Oracle多层向量近似消息传递算法的会聚序列的构建，其中通过检查等效动态系统的稳定性来完成收敛分析。我们说明了我们对主流学习方法的数值示例的要求，例如稀疏的逻辑回归和线性支持矢量分类器，显示中等大小模拟和渐近预测之间的良好一致性。
translated by 谷歌翻译
策略梯度方法适用于复杂的，不理解的，通过对参数化的策略进行随机梯度下降来控制问题。不幸的是，即使对于可以通过标准动态编程技术解决的简单控制问题，策略梯度算法也会面临非凸优化问题，并且被广泛理解为仅收敛到固定点。这项工作确定了结构属性 - 通过几个经典控制问题共享 - 确保策略梯度目标函数尽管是非凸面，但没有次优的固定点。当这些条件得到加强时，该目标满足了产生收敛速率的Polyak-lojasiewicz（梯度优势）条件。当其中一些条件放松时，我们还可以在任何固定点的最佳差距上提供界限。
translated by 谷歌翻译
最佳控制问题自然出现在许多科学应用中，希望将动态系统从某个初始状态引导动态系统$ \ mathbf {x} _0 $到所需的目标状态$ \ mathbf {x}^*$有限时间$ t $ t $ 。深度学习和基于神经网络的优化的最新进展有助于开发可以帮助解决涉及高维动力系统的控制问题的方法。特别是，神经普通微分方程（神经ODE）的框架为迭代近似于与分析性棘手和计算要求的控制任务相关的连续时间控制功能提供了有效的手段。尽管神经ODE控制器在解决复杂的控制问题方面表现出了巨大的潜力，但对网络结构和优化器等超参数的影响的理解仍然非常有限。我们的工作旨在解决其中一些知识差距，以进行有效的超参数优化。为此，我们首先分析了如何通过时间进行截断和未截断的反向传播影响运行时性能以及神经网络学习最佳控制功能的能力。然后，我们使用分析和数值方法，然后研究参数初始化，优化器和神经网络体系结构的作用。最后，我们将结果与神经控制器隐式正规化控制能量的能力联系起来。
translated by 谷歌翻译
2017-03-01
本文介绍了OptNet，该网络架构集成了优化问题（这里，专门以二次程序的形式），作为较大端到端可训练的深网络中的单个层。这些层在隐藏状态之间编码约束和复杂依赖性，传统的卷积和完全连接的层通常无法捕获。我们探索这种架构的基础：我们展示了如何使用敏感性分析，彼得优化和隐式差分的技术如何通过这些层和相对于层参数精确地区分;我们为这些层开发了一种高效的解算器，用于利用基于GPU的基于GPU的批处理在原始 - 双内部点法中解决，并且在求解的顶部几乎没有额外的成本提供了反向衰减梯度;我们突出了这些方法在几个问题中的应用。在一个值得注意的示例中，该方法学习仅在输入和输出游戏中播放Mini-sudoku（4x4），没有关于游戏规则的a-priori信息;这突出了OptNet比其他神经架构更好地学习硬限制的能力。
translated by 谷歌翻译
在梯度下降中注入噪声具有几个理想的特征。在本文中，我们在计算梯度步骤之前探索噪声注入，该梯度步骤已知具有平滑和正规化的特性。我们表明，小扰动会导致基于L1-norm，L1-Norms或核规范的简单有限维模型的显式正则化。当应用于具有较大宽度的过多散热性神经网络时，我们表明，由于过多参数化导致的方差爆炸，相同的扰动无效。但是，我们还表明，独立的层扰动允许避免爆炸差异项，然后可以获得显式正则化器。我们从经验上表明，与香草（随机）梯度下降训练相比，小的扰动可以提高泛化性能，对训练程序进行了较小的调整。
translated by 谷歌翻译
深度学习使用由其重量进行参数化的神经网络。通常通过调谐重量来直接最小化给定损耗功能来训练神经网络。在本文中，我们建议将权重重新参数转化为网络中各个节点的触发强度的目标。给定一组目标，可以计算使得发射强度最佳地满足这些目标的权重。有人认为，通过我们称之为级联解压缩的过程，使用培训的目标解决爆炸梯度的问题，并使损失功能表面更加光滑，因此导致更容易，培训更快，以及潜在的概括，神经网络。它还允许更容易地学习更深层次和经常性的网络结构。目标对重量的必要转换有额外的计算费用，这是在许多情况下可管理的。在目标空间中学习可以与现有的神经网络优化器相结合，以额外收益。实验结果表明了使用目标空间的速度，以及改进的泛化的示例，用于全连接的网络和卷积网络，以及调用和处理长时间序列的能力，并使用经常性网络进行自然语言处理。
translated by 谷歌翻译
我们为研究通过将噪声注入隐藏状态而训练的经常性神经网络（RNN）提供了一般框架。具体地，我们考虑RNN，其可以被视为由输入数据驱动的随机微分方程的离散化。该框架允许我们通过在小噪声制度中导出近似显式规范器来研究一般噪声注入方案的隐式正则化效果。我们发现，在合理的假设下，这种隐含的正规化促进了更平坦的最小值;它偏向具有更稳定动态的模型;并且，在分类任务中，它有利于具有较大分类余量的模型。获得了全局稳定性的充分条件，突出了随机稳定的现象，其中噪音注入可以在训练期间提高稳定性。我们的理论得到了经验结果支持，证明RNN对各种输入扰动具有改善的鲁棒性。
translated by 谷歌翻译
本文涉及在Semidefinite限制下培训神经网络（NNS）。这种类型的训练问题最近获得了普及，因为半纤维约束可以用于验证包括例如嘴唇峰常数上限的NN的有趣特性，这与NN的鲁棒性或稳定性有关具有NN控制器的动态系统。使用的SemideFinite约束基于底层激活函数满足的扇区约束。遗憾的是，这些新结果的最大瓶颈之一是将Semidefinite限制纳入NNS的训练所需的计算工作，这限制了它们对大NN的可扩展性。我们通过开发NN培训的内部点方法来解决这一挑战，我们使用屏障函数为SEMIDEFINITE约束实现。为了有效地计算屏障术语的梯度，我们利用了半纤维限制的结构。在实验中，我们展示了我们对先前方法的培训方法的卓越效率，这使我们可以在培训Wassersein生成的对抗网络中使用Semidefinite限制，其中鉴别者必须满足Lipschitz条件。
translated by 谷歌翻译